賈揚清：大模型尺寸正在重走CNN的老路；馬斯克：在特斯拉也是這樣

AIGC動態(tài)歡迎閱讀

原標(biāo)題：賈揚清：大模型尺寸正在重走CNN的老路；馬斯克：在特斯拉也是這樣
關(guān)鍵字：模型,參數(shù),規(guī)模,趨勢,尺寸
文章來源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

衡宇發(fā)自凹非寺量子位 | 公眾號 QbitAITransformer大模型尺寸變化，正在重走CNN的老路！
看到大家都被LLaMA 3.1吸引了注意力，賈揚清發(fā)出如此感慨。
拿大模型尺寸的發(fā)展，和CNN的發(fā)展作對比，就能發(fā)現(xiàn)一個明顯的趨勢和現(xiàn)象：
在ImageNet時代，研究人員和技術(shù)從業(yè)者見證了參數(shù)規(guī)模的快速增長，然后又開始轉(zhuǎn)向更小、更高效的模型。
聽起來，是不是和GPT哐哐往上卷模型參數(shù)，業(yè)界普遍認同Scaling Law，然后出現(xiàn)GPT-4o mini、蘋果DCLM-7B、谷歌Gemma 2B如出一轍？
賈揚清笑稱，“這是前大模型時代的事兒，很多人可能都不咋記得了：）”。
而且，賈揚清不是唯一一個感知到這一點的人，AI大神卡帕西也這么覺得：
大模型尺寸的競爭正在加劇……但是卷的方向反著來了！
模型必須先追求“更大”，然后才能追求“更小”，因為我們需要這個過程，幫咱把訓(xùn)練數(shù)據(jù)重構(gòu)成理想的、合成的格式。
他甚至拍著胸脯打賭，表示我們一定能看到又好、又能可靠地思考的模型。
而且是參數(shù)規(guī)模很小很小的那種。
連馬斯克都在卡帕西的評論區(qū)連連稱是：
以上，大概可以稱之為“大佬所見略同”。

原文鏈接：賈揚清：大模型尺寸正在重走CNN的老路；馬斯克：在特斯拉也是這樣