全球最大開源大模型!馬斯克正式開源Grok AI

責任編輯:cres

作者:Carl Franzen

2024-03-18 11:30:53

來源:企業(yè)網(wǎng)D1Net

原創(chuàng)

馬斯克的初創(chuàng)公司xAI信守諾言,將其首個大型語言模型Grok開源。

馬斯克此前曾宣布,開源Grok的舉措將于本周實施?,F(xiàn)在,任何其他企業(yè)家、程序員、公司或個人都可以體驗和測試Grok——模型的人工神經(jīng)元或軟件模塊之間的連接強度,這些模塊使模型能夠做出決策、接受輸入并以文本形式提供輸出——以及其他相關文檔,并將模型的副本用于任何他們想要的東西,包括商業(yè)應用。
 
該公司在一篇博客文章中宣布:“我們正在發(fā)布我們的大型語言模型Grok-1的基本模型和網(wǎng)絡架構,Grok-1是xAI從頭開始訓練的3140億參數(shù)混合專家模型。”
 
感興趣的人可以在Github的頁面上或通過鏈接下載Grok的代碼。
 
Grok的開源意味著什么
 
參數(shù)是指支配模型的權重和偏差——通常參數(shù)越多,模型就越先進、越復雜、越好用。Grok擁有3140億個參數(shù),遠遠領先于開源競爭對手,如Meta的Llama 2(700億個參數(shù))和Mistral 8x7B(120億個參數(shù))。
 
Grok是在Apache許可2.0下開源的,該許可允許商業(yè)使用、修改和分發(fā),盡管它不能被注冊為商標,用戶也不會獲得任何責任或保證,此外,他們必須復制原始許可證和版權聲明,并說明他們所做的更改。
 
Grok的體系結構于2023年10月使用JAX和Rust上的定制訓練堆棧開發(fā),結合了神經(jīng)網(wǎng)絡設計的創(chuàng)新方法,對于給定的令牌,該模型使用25%的權重,這一策略提高了其效率和效果。
 
Grok最初是在2023年11月發(fā)布的,當時它是一款專有或封閉源代碼的機型,到目前為止,它只能在馬斯克獨立但相關的社交網(wǎng)絡X(前身為Twitter)上使用,特別是通過X Premium+付費訂閱服務,費用為每月16美元或每年168美元。
 
然而,Grok的發(fā)布并不包括其訓練數(shù)據(jù)的完整語料庫,這對于使用模型并不重要,因為它已經(jīng)經(jīng)過了訓練,但它不允許用戶看到它從X上學到了什么——大概是X上的用戶文本帖子(xAI博客文章含糊地說它是“基于大量文本數(shù)據(jù)訓練的基礎模型,沒有針對任何特定任務進行微調”)。
 
它也不包括任何與X上可用的實時信息的掛鉤,馬斯克最初將其吹捧為Grok相對于其他LLM的主要屬性,為此,用戶仍需要在X上訂閱付費版本。
 
不僅僅是一項技術舉措 還是一項商業(yè)和公關戰(zhàn)略
 
為了與OpenAI的ChatGPT競爭,馬斯克于2018年脫離OpenAI并創(chuàng)建了自己的大模型Grok。馬斯克將Grok定位為ChatGPT和其他領先的大語言模型的更幽默、更未經(jīng)審查的版本,鑒于人們對人工智能審查的抱怨,以及谷歌Gemini令人尷尬的混亂圖像和可疑的意識形態(tài)立場(Gemini在至少一個例子中暗示,馬斯克的推文對社會的影響可能與納粹領導人Adolf Hitler一樣糟糕),這一立場在更廣泛的用戶中重新變得有吸引力。當然,Gemini受到了馬斯克和其他有影響力的科技領袖的強烈批評,其中包括16z的聯(lián)合創(chuàng)始人和網(wǎng)絡先驅馬克·安德森。
 
Grok的開源顯然也是馬斯克在訴訟和對OpenAI的普遍批評中有益的意識形態(tài)立場,他最近起訴了OpenAI,指責他的前公司放棄了《創(chuàng)始協(xié)議》,轉而以非營利性組織的形式運營。OpenAI在輿論法庭上發(fā)布了為自己辯護的電子郵件,至少表明馬斯克知道并可能支持其轉向專有的營利性技術。
 
X上的人工智能社區(qū)已經(jīng)對這一發(fā)布充滿了好奇和興奮,值得注意的是,技術界指出了該模型在前饋層中使用GeGLU,以及它的歸一化方法,就連OpenAI的員工也發(fā)帖表達了他們對該模型的興趣。
 
因此,Grok的發(fā)布可能會給所有其他大語言模型提供商,特別是其他競爭對手開源提供商帶來壓力,讓他們向用戶證明他們是多么的優(yōu)越。
 
企業(yè)網(wǎng)D1net(m.r5u5c.cn):
 
國內主流的to B IT門戶,同時在運營國內最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_-信眾智(www.cioall.com)。同時運營19個IT行業(yè)公眾號(微信搜索D1net即可關注)。
 
版權聲明:本文為企業(yè)網(wǎng)D1Net編譯,轉載需在文章開頭注明出處為:企業(yè)網(wǎng)D1Net,如果不注明出處,企業(yè)網(wǎng)D1Net將保留追究其法律責任的權利。

鏈接已復制,快去分享吧

企業(yè)網(wǎng)版權所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號