Scaling Law的盡頭是什么？｜甲子引力X

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：Scaling Law的盡頭是什么？｜甲子引力X
關(guān)鍵字：模型,數(shù)據(jù),問(wèn)題,架構(gòu),效果
文章來(lái)源：甲子光年
內(nèi)容字?jǐn)?shù)：24494字

內(nèi)容摘要：

大模型的“摩爾定律”。2024年5月15日，由中國(guó)科技產(chǎn)業(yè)智庫(kù)「甲子光年」主辦、中關(guān)村東升科學(xué)城協(xié)辦的「AI創(chuàng)生時(shí)代——2024甲子引力X科技產(chǎn)業(yè)新風(fēng)向」大會(huì)在北京舉辦。
在當(dāng)日下午舉行的“AI技術(shù)范式的變革：Scaling Law的盡頭是什么”圓桌環(huán)節(jié)，百度集團(tuán)副總裁侯震宇、中國(guó)人民大學(xué)高瓴人工智能學(xué)院教授盧志武、清智資本創(chuàng)始合伙人張煜、新浪微博新技術(shù)研發(fā)負(fù)責(zé)人張俊林、RWKV元始智能COO羅璇與甲子光年高級(jí)分析師王藝一起探討了Scaling Law的發(fā)展趨勢(shì)。
Scaling Law是大模型的“摩爾定律”，它指引了大模型按照大算力、大參數(shù)、大數(shù)據(jù)的方向前行。但對(duì)于Scaling Law的發(fā)展前景，業(yè)內(nèi)看法不一。
侯震宇堅(jiān)定地支持Scaling Law，并認(rèn)為至少在當(dāng)前，Scaling Law仍然有效且潛力巨大。他還提到了摩爾定律和安迪-比爾定律，認(rèn)為Scaling Law在AI領(lǐng)域也呈現(xiàn)出類似的效應(yīng)，即算力的增長(zhǎng)被算法和數(shù)據(jù)的需求所消耗。
盧志武表示有條件地支持Scaling Law，認(rèn)為它在實(shí)現(xiàn)AGI方面可能不夠充分。他提出可能需要更好的模型架構(gòu)，并指出Transformer模型

原文鏈接：Scaling Law的盡頭是什么？｜甲子引力X

聯(lián)系作者

文章來(lái)源：甲子光年
作者微信：jazzyear
作者簡(jiǎn)介：甲子光年是一家科技智庫(kù)，包含智庫(kù)、社群、企業(yè)服務(wù)版塊，立足中國(guó)科技創(chuàng)新前沿陣地，動(dòng)態(tài)跟蹤頭部科技企業(yè)發(fā)展和傳統(tǒng)產(chǎn)業(yè)技術(shù)升級(jí)案例，推動(dòng)人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算、新能源、新材料、信息安全、大健康等科技創(chuàng)新在產(chǎn)業(yè)中的應(yīng)用與落地。