2053
作者 |??云鵬，編輯?|??心緣
全球最大開源大模型！馬斯克Grok-1參數(shù)量3410億，正式開源。
6個(gè)月掏出3410億參數(shù)自研大模型，馬斯克說到做到！智東西3月18日消息，就在剛剛，馬斯克的AI創(chuàng)企xAI正式發(fā)布了此前備受期待大模型Grok-1，其參數(shù)量達(dá)到了3140億，遠(yuǎn)超OpenAI GPT-3.5的1750億。這是迄今參數(shù)量最大的開源大語言模型，遵照Apache 2.0協(xié)議開放模型權(quán)重和架構(gòu)。
Grok-1是一個(gè)混合專家（Mixture-of-Experts，MOE）大模型，這種MOE架構(gòu)重點(diǎn)在于提高大模型的訓(xùn)練和推理效率，形象地理解，MOE就像把各個(gè)領(lǐng)域的“專家”集合到了一起，遇到任務(wù)派發(fā)給不同領(lǐng)域的專家，最后匯總結(jié)論，提升效率。決定每個(gè)專家做什么的是被稱為“門控網(wǎng)絡(luò)”的機(jī)制。xAI已經(jīng)將Grok-1的權(quán)重和架構(gòu)在GitHub上開源。
GitHub地址：https://github.com/xai-org/grok-1?tab=readme-ov-file目前Grok-1的源權(quán)重?cái)?shù)據(jù)大小大約為300GB。截至北京時(shí)間3月18日上午7時(shí)許，Grok-1項(xiàng)目收獲了3400顆星。
Grok-1是馬斯克xAI自2023年7月12日成立以來發(fā)布的首個(gè)自研大模型。xAI特別強(qiáng)調(diào)說這是他們自己從頭訓(xùn)練的大模型。Grok-1沒有針對特定應(yīng)用進(jìn)行微調(diào)。
xAI是馬斯克去年剛剛成立的明星AI創(chuàng)企，其目的之一就是與OpenAI、谷歌、微軟等對手在大模型領(lǐng)域進(jìn)行競爭，其團(tuán)隊(duì)來自O(shè)penAI、谷歌DeepMind、谷歌研究院、微軟研究院等諸多知名企業(yè)和研究機(jī)構(gòu)。
此前馬斯克剛剛“怒噴”O(jiān)penAI不夠“Open”，后腳這就開源了自家的頂級3410億參數(shù)自研大模型Grok-1。雖然馬斯克在預(yù)熱到發(fā)布的過程中也“放了幾次鴿子”，但最終他并沒有食言。
今天，xAI還公布了Grok-1的更多細(xì)節(jié)：基礎(chǔ)模型基于大量文本數(shù)據(jù)訓(xùn)練，未針對特定任務(wù)進(jìn)行微調(diào)。3140億參數(shù)的Mixture-of-Experts模型，其對于每個(gè)token，活躍權(quán)重比例為25%。xAI從2023年10月開始使用自定義訓(xùn)練堆棧在JAX和Rust之上從頭開始訓(xùn)練。
但此次xAI并沒有放出Grok-1的具體測試成績，其與OpenAI即將發(fā)布的GPT-5的大模型王者之戰(zhàn)，必將成為業(yè)內(nèi)關(guān)注的焦點(diǎn)。當(dāng)然，馬斯克發(fā)大模型，怎么會少的了大佬隔空對線“互懟”？xAI官方消息剛剛發(fā)布，ChatGPT的官方賬號馬上就跟馬斯克在X平臺上進(jìn)行了互動，在Grok官方賬號評論下回復(fù)道：“偷了我的笑話?！?/p>
馬斯克自然不會示弱，馬上說請告訴我OpenAI“Open”之處在哪里。馬斯克高仿號也馬上跑過來添油加醋，說我們都知道是Sam在運(yùn)營ChatGPT的賬號。值得一提的是，此次xAI發(fā)布Grok-1消息的封面圖片，是由Midjourney生成，Grok給出了提示文本：一個(gè)神經(jīng)網(wǎng)絡(luò)的3D插圖，具有透明節(jié)點(diǎn)和發(fā)光連接，展示不同粗細(xì)和顏色的連接線的不同權(quán)重（A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines）。
下載ECAD模型
