賈揚清：大模型尺寸正在重走CNN的老路；馬斯克：在特斯拉也是這樣

AIGC動態歡迎閱讀

原標題：賈揚清：大模型尺寸正在重走CNN的老路；馬斯克：在特斯拉也是這樣
關鍵字：模型,參數,規模,趨勢,尺寸
文章來源：量子位
內容字數：0字

內容摘要：

衡宇 發自 凹非寺量子位 | 公眾號 QbitAITransformer大模型尺寸變化，正在重走CNN的老路！
看到大家都被LLaMA 3.1吸引了注意力，賈揚清發出如此感慨。
拿大模型尺寸的發展，和CNN的發展作對比，就能發現一個明顯的趨勢和現象：
在ImageNet時代，研究人員和技術從業者見證了參數規模的快速增長，然后又開始轉向更小、更高效的模型。
聽起來，是不是和GPT哐哐往上卷模型參數，業界普遍認同Scaling Law，然后出現GPT-4o mini、蘋果DCLM-7B、谷歌Gemma 2B如出一轍？
賈揚清笑稱，“這是前大模型時代的事兒，很多人可能都不咋記得了：）”。
而且，賈揚清不是唯一一個感知到這一點的人，AI大神卡帕西也這么覺得：
大模型尺寸的競爭正在加劇……但是卷的方向反著來了！
模型必須先追求“更大”，然后才能追求“更小”，因為我們需要這個過程，幫咱把訓練數據重構成理想的、合成的格式。
他甚至拍著胸脯打賭，表示我們一定能看到又好、又能可靠地思考的模型。
而且是參數規模很小很小的那種。
連馬斯克都在卡帕西的評論區連連稱是：
以上，大概可以稱之為“大佬所見略同”。

原文鏈接：賈揚清：大模型尺寸正在重走CNN的老路；馬斯克：在特斯拉也是這樣

聯系作者

文章來源：量子位
作者微信：
作者簡介：