AI Scaling的神話

AIGC動態歡迎閱讀

原標題：AI Scaling的神話
關鍵字：模型,數據,能力,成本,數量級
文章來源：人工智能學家
內容字數：0字

內容摘要：

截至目前，語言模型越來越大，能力也越來越強，但過去的表現能預測未來嗎？
一種流行的觀點是，我們應該期待當前的趨勢繼續保持下去，并且出現更多數量級，這最終可能會引領我們實現AGI。
本文作者認為，這種觀點來自于一系列神話和誤解。從表面上看，規模擴展（Scaling）具有可預測性，但這是對研究成果的誤解。此外，有跡象表明，LLM開發者已經接近高質量訓練數據的極限。而且，模型行業正面臨著模型尺寸的強烈下行壓力。雖然現在無法準確地預測AI通過擴展能取得多大進展，但作者認為僅靠擴展幾乎不可能實現AGI。
（本文作者Arvind Narayanan是普林斯頓大學計算機科學教授，Sayash Kapoor是普林斯頓大學計算機科學博士生。本文由OneFlow編譯發布，轉載請聯系授權。來源：https://www.aisnakeoil.com/p/ai-scaling-myths）作者｜ARVIND NARAYANAN、SAYASH KAPOOR
OneFlow編譯翻譯｜張雪聃、凌小雨
題圖由SiliconCloud生成1擴展“定律”常被誤解有關擴展定律的研究表明，如果增加模型大小、訓練計算量和數據集大

原文鏈接：AI Scaling的神話

聯系作者

文章來源：人工智能學家
作者微信：
作者簡介：