馬斯克旗下xAI釋出3140億引數語言模型Grok-1:挑戰OpenAI的GPT
近日,馬斯克旗下的xAI公司宣佈開源了一個名為Grok-1的語言模型,擁有驚人的3140億引數,遠超過知名機構OpenAI的GPT模型。據悉,Grok-1是xAI在2023年10月利用自定義訓練堆疊從頭開始培訓的混合專家(MOE)模型。值得一提的是,該模型在開源時並未針對任何特定應用進行微調,展現了其全新穎的設計理念。
馬斯克在社交媒體Twitter上公開批評了OpenAI,並表示xAI平臺目前是迄今為止最透明、最追求真實的平臺之一。他對OpenAI的"開放"態度提出了疑問,認為其已偏離初衷,演變為以營利為導向的組織。此前,馬斯克曾多次批評OpenAI是一個以盈利為目標的公司,而非最初設想中的非營利性開源組織。
Grok-1的開源受到了極大的關注與好評,上線GitHub後迅速獲得大量星標。該模型包含8個處理層,每個資料單元(Token)由2位專家共同處理,總共64個處理層。據悉,其中25%的引數可以透過針對特定資料單元啟用。同時,Grok-1支援最大序列長度達8192個數據單元,為處理更長的上下文資訊提供了便利。(江淼)