甲對(duì)話田淵棟：Scaling law代表一個(gè)非常悲觀的未來｜甲子光年

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：甲對(duì)話田淵棟：Scaling law代表一個(gè)非常悲觀的未來｜甲子光年
關(guān)鍵字：模型,報(bào)告,,數(shù)據(jù),人類
文章來源：甲子光年
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

Scaling law也許是對(duì)的，但不會(huì)是全部，因?yàn)閟caling law本身代表一個(gè)非常悲觀的未來——scaling law的本質(zhì)是，用指數(shù)級(jí)的數(shù)據(jù)增長，來獲得幾個(gè)點(diǎn)的收益。最終人類世界可能會(huì)有很多長尾需求，需要人類的快速反應(yīng)能力去解決，這些場(chǎng)景的數(shù)據(jù)本身也很少，LLM做不到。Scaling law發(fā)展到最后，可能每個(gè)人都站在一個(gè)數(shù)據(jù)孤島上。作者｜甲 劉楊楠
對(duì)于研究者而言，預(yù)設(shè)一個(gè)判斷、押注正確的方向，往往會(huì)決定學(xué)術(shù)成就的高遠(yuǎn)。當(dāng)一切尚未驗(yàn)證時(shí)，多少需要樸素的直覺來支撐，而樸素直覺的背后，往往是一些關(guān)于是與非、能與否的底層信仰。
在人工智能領(lǐng)域，底層信仰的作用在被放大。比如，此刻人工智能有一些根本性的研究底色：Scaling law是否是唯一至上的綱？
大模型的scaling law最早由OpenAI在2020年的一篇論文中提出，其內(nèi)涵是，大模型的最終性能主要與計(jì)算量、模型參數(shù)量和訓(xùn)練數(shù)據(jù)量三者的大小相關(guān)，而與模型的具體結(jié)構(gòu)（層數(shù)/深度/寬度）基本無關(guān)。
放眼全球，很多人都將scaling law奉為圭臬，但聚光燈外也不乏一些質(zhì)疑scaling law的“少數(shù)派”。田淵棟就是其

原文鏈接：甲對(duì)話田淵棟：Scaling law代表一個(gè)非常悲觀的未來｜甲子光年

聯(lián)系作者

文章來源：甲子光年
作者微信：jazzyear
作者簡(jiǎn)介：甲子光年是一家科技智庫，包含智庫、社群、企業(yè)服務(wù)版塊，立足中國科技創(chuàng)新前沿陣地，動(dòng)態(tài)跟蹤頭部科技企業(yè)發(fā)展和傳統(tǒng)產(chǎn)業(yè)技術(shù)升級(jí)案例，推動(dòng)人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算、新能源、新材料、信息安全、大健康等科技創(chuàng)新在產(chǎn)業(yè)中的應(yīng)用與落地。