預訓練時代的終結：AI未來發展的新趨勢與Scaling Law的命運探討

本期通訊 25018 字，可免費試讀至 9%。

原標題：預訓練將結束？AI的下一步發展有何論調？Scaling Law 撞墻與否還重要嗎？
文章來源：機器之心
內容字數：4975字

預訓練將結束？AI的下一步發展有何論調？

本周五，Ilya Sutskever在NeurIPS會議上提出“預訓練將結束，數據壓榨到頭了”的觀點，引發了關于AI未來發展方向的廣泛討論。Scaling Law是否“撞墻”的爭論持續發酵，各方意見不一。以下是對這一話題的深入解析。

1. Scaling Law的爭論

關于Scaling Law是否達到了瓶頸的討論日益頻繁。許多人認為，單純依靠數據和參數的規模堆疊無法再顯著提升模型性能。Gary Marcus在其文章中指出，Scaling Law的收益已開始遞減，未來需要新的方法和思路。

2. 數據枯竭的擔憂

Sutskever在其演講中強調了數據資源的有限性，認為現有的預訓練方法將會遭遇重大挑戰。他預測，未來的模型將展現出更高的自主性和推理能力，并可能會超越當前的預訓練模式，探索新的學習算法和數據處理技術。

3. 密度定律的提出

清華大學的研究團隊提出了Capability Density（能力密度）這一指標，關注模型的有效參數量與實際參數量的比值，提供了一種新的評估方法。研究表明，隨著時間推移，LLM的能力密度呈指數增長，這將推動智能模型在消費市場的普及。

4. 新的Scaling目標探索

近期的研究集中在“Scaling What”的新視角上。一些研究者嘗試將Scaling的重點從預訓練轉移到推理階段，探索“測試時計算”和“測試時訓練”等新方法。此外，還有研究關注高維數據和知識的利用，以推動AI的進一步發展。

總結

關于AI未來發展的討論仍在進行中，Scaling Law的爭議以及數據的有效利用將是關鍵因素。隨著研究的深入，新的方法和思路將不斷涌現，推動AI技術的進步。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺