MIT研究:大型語言模型能力飆升速度超摩爾定律!硬體或許跟不上?
最近,MIT FutureTech的研究人員針對大型語言模型(LLM)的能力增長速度進行了研究,結果顯示,LLM的能力每8個月翻一番,遠遠超過了摩爾定律的速度。這一發現引發了人們對未來AI發展路徑的思考。隨著硬體算力跟不上AI的大胃口,人類是否將難以負擔AI的成本?
摩爾定律:硬體的算力增速
摩爾定律是一個經驗規律,1965年由半導體先驅Gordon Moore提出,意味著積體電路中電晶體數量每兩年翻一番。這一觀察結果一直指導著半導體行業的發展和規劃,但自2010年左右以來,隨著摩爾定律的減速,整個半導體行業的發展速度也有所放緩。
英偉達CEO黃仁勳曾明言“摩爾定律已死”,但英特爾CEO Pat Gelsinger則持有不同看法。英特爾正不斷嘗試採用各種技術延續摩爾定律的生命力,努力保持硬體算力的發展速度,以維持其領先地位。
安迪和比爾的定律
當今,大型語言模型已成為吞噬硬體算力的“新貴”。研究發現,每到時間,AI大胃口就要求更多的資源,而傳統硬體可能難以滿足其需求。這也引發了人們對未來AI可持續發展的擔憂。
專家指出,即使不能繼續依賴硬體的摩爾定律,AI仍有可能透過持續創新和技術進步來突破當前發展的瓶頸,這也將是硬體與軟體協同發展的新機遇。
研究方法與結論
研究人員透過比較不同模型在同樣計算量下的表現,量化了模型的能力提升。他們招募了200多個語言模型參與該比賽,使用WikiText-103、WikiText-2和Penn Treebank等高質量資料集進行評估。
透過引入“有效資料”和“有效模型大小”的概念,研究人員得出結論:實現相同效能水平所需的資源隨時間減少的速度中位數為8.4個月。這一研究結果揭示了大型語言模型能力提升速度超越硬體發展的現實挑戰。
未來AI的發展道路充滿挑戰與機遇。摩爾定律的減速、大型語言模型的飆升速度,都在警示我們硬體與軟體發展要實現更緊密的協同。只有不斷探索創新之路,才能引領AI技術持續向前發展。