馬斯克推出Grok-1.5,接近GPT-4級別的性能

責(zé)任編輯:cres

作者:Shubham Sharma

2024-04-01 10:29:43

來源:企業(yè)網(wǎng)D1Net

原創(chuàng)

在開放源碼Grok-1短短幾周后,馬斯克的xAI推出了其專有大型語言模型的升級版本——Grok-1 5。

定于下周發(fā)布的Grok-1.5帶來了增強(qiáng)的推理和解決問題的能力,并接近于已知的開源和閉源的LLM的性能,包括OpenAI的GPT-4和Anthropic的Claude 3。它也能夠處理長文本,但在上下文窗口大小方面仍落后于Gemini 1.5 Pro的最多100萬個(gè)標(biāo)記。
 
馬斯克指出,Grok-1.5將為xAI在X平臺上的ChatGPT挑戰(zhàn)者聊天機(jī)器人提供支持,而Grok-2(新模型的繼任者)仍在訓(xùn)練階段。他表示,下一個(gè)版本應(yīng)該能夠“在所有指標(biāo)上超越當(dāng)前的AI”,但沒有分享它可能何時(shí)變得可用的具體細(xì)節(jié)。
 
Grok-1.5帶來了什么?
 
xAI去年11月宣布了Grok-1,稱這個(gè)AI是以《銀河系漫游指南》為模型,幾乎可以回答任何問題,以幫助人類在尋求理解和知識的征途中——無論背景或政治觀點(diǎn)如何。在GSM8K、HumanEval和MMLU等基準(zhǔn)測試中,由xAI分享的數(shù)據(jù)顯示,Grok-1的表現(xiàn)超過了Llama-2-70B和GPT-3.5。
 
現(xiàn)在,隨著Grok-1.5的發(fā)布,該公司在先前模型的基礎(chǔ)上取得了顯著改進(jìn),在所有主要基準(zhǔn)測試中,包括與編碼和數(shù)學(xué)相關(guān)的任務(wù),都實(shí)現(xiàn)了顯著提升。
 
xAI在博客文章中指出:“在我們的測試中,Grok-1.5在MATH基準(zhǔn)測試中達(dá)到了50.6%的分?jǐn)?shù),在GSM8K基準(zhǔn)測試中達(dá)到了90%的分?jǐn)?shù),這兩個(gè)數(shù)學(xué)基準(zhǔn)測試涵蓋了從小學(xué)到高中競賽問題的廣泛范圍。此外,它在評估代碼生成和問題解決能力的HumanEval基準(zhǔn)測試中得分為74.1%。”
 
在MMLU基準(zhǔn)測試上,評估AI模型在不同任務(wù)上的語言理解能力,新模型得分為81.3%,比Grok-1的73%高出顯著幅度。
 
此外,xAI還確認(rèn),Grok-1.5的上下文窗口可達(dá)128,000個(gè)標(biāo)記(標(biāo)記是單詞、圖像、視頻、音頻或代碼的整個(gè)部分或子部分)。這使得模型能夠一次性處理和處理大量信息,比Grok-1多16倍,使其更適合分析、總結(jié)和提取長文檔中的信息。它甚至可以處理更長、更復(fù)雜的提示,同時(shí)仍然保持遵循指令的能力。
 
接近OpenAI和Anthropic
 
憑借增強(qiáng)的推理和解決問題的能力,Grok-1.5不僅在基準(zhǔn)測試中勝過其前身,而且還接近流行的開放和封閉源模型,包括Gemini 1.5 Pro、GPT-4和Claude 3。
 
例如,在MMLU上,Grok-1.5的81.3%得分超過了最近推出的Mistral Large,但落后于Gemini 1.5 Pro(83.7%)、GPT-4(86.4%,
 
截至2023年3月)和Claude 3 Opus(86.8%)。在GSM8K基準(zhǔn)測試上也注意到了類似的差距,xAI模型僅落后于Google、OpenAI和Anthropic的產(chǎn)品。
 
值得注意的是,Grok-1.5唯一看起來有優(yōu)勢的基準(zhǔn)是HumanEval,在那里它的表現(xiàn)超過了所有模型,除了Claude 3 Opus。xAI希望繼續(xù)這些改進(jìn),并通過Grok-2提供進(jìn)一步的性能提升,據(jù)馬斯克稱,應(yīng)該在所有指標(biāo)上超越當(dāng)前的AI。該模型目前正在訓(xùn)練中。
 
技術(shù)顧問Brian Roemmele表示,根據(jù)他與Grok-1的工作,Grok-2“在發(fā)布時(shí)將成為最強(qiáng)大的LLM AI平臺之一。它將在幾乎所有指標(biāo)上超越OpenAI。”
 
Grok-1.5的可用性
 
至于Grok-1.5,xAI計(jì)劃下周開始部署。公司表示,該模型最初將提供給早期測試者和那些已經(jīng)在X平臺(Twitter)上使用Grok聊天機(jī)器人的用戶——實(shí)時(shí)訪問平臺上的所有帖子。推出將分階段進(jìn)行,公司將改進(jìn)模型并引入幾個(gè)新功能——可能包括一種新的不受限制的有趣模式——同時(shí)逐步使其對更廣泛的用戶群體可用。
 
當(dāng)馬斯克在X上推出Grok時(shí),被視為推動(dòng)Grok和X的采用。他首先將AI作為平臺的“高級+”訂閱的一部分,價(jià)格為每月16美元。然而,就在幾天前,這位億萬富翁分享說,聊天機(jī)器人也將為支付8美元每月的高級訂閱者啟用。在另一個(gè)更新中,他還確認(rèn),擁有一定級別的驗(yàn)證訂閱者的關(guān)注者將免費(fèi)獲得高級和高級+訂閱的好處,包括Grok。
 
企業(yè)網(wǎng)D1net(m.r5u5c.cn):
 
國內(nèi)主流的to B IT門戶,同時(shí)在運(yùn)營國內(nèi)最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_-信眾智(www.cioall.com)。同時(shí)運(yùn)營19個(gè)IT行業(yè)公眾號(微信搜索D1net即可關(guān)注)。
 
版權(quán)聲明:本文為企業(yè)網(wǎng)D1Net編譯,轉(zhuǎn)載需在文章開頭注明出處為:企業(yè)網(wǎng)D1Net,如果不注明出處,企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號