何寶宏：大語言模型上半場已進入“垃圾時間”

原標題：何寶宏：大語言模型上半場已進入“垃圾時間”
文章來源：人工智能學家
內容字數：11248字

大模型發展進入下半場：從規模到性價比的轉變

本文總結了中國通信院云計算與大數據研究所所長何寶宏在第十九屆中國IDC產業年度大典上關于大模型發展趨勢的觀點。他認為，大模型發展已進入下半場，上半場的“規模競賽”已進入“垃圾時間”，未來將轉向“性價比”的競爭。

1. 上半場“垃圾時間”：Scaling Law減速

何寶宏指出，過去一年大模型訓練效果普遍不及預期，主要原因是大模型的Scaling Law（規模法則）開始減速甚至失效。他強調，Scaling Law并非大模型獨有，所有系統都會面臨規模增長放緩的局面。Scaling Law的減速意味著通往AGI的道路可能更加漫長。

2. 戰略調整：從訓練轉向推理和多模態

面對Scaling Law的減速，各大機構紛紛調整策略。一個方向是從訓練轉向推理，即從連接主義轉向符號主義，尋求兩者融合；另一個方向是從大語言模型轉向多模態模型，例如開發更多應用、視覺模型和分布式大模型。然而，這些方向仍面臨諸多挑戰。

3. 開源崛起與工程化需求

開源模型的快速發展降低了大模型的準入門檻，開源模型的能力已接近GPT-3.5的80%，但成本僅為其1/20。未來大模型競爭將更加注重工程化，提升模型的可解釋性、透明度、長期推理能力、安全性和可靠性，并實現模型壓縮、輕量化和組件化。

4. “數據墻”與“死亡互聯網理論”

何寶宏認為，大模型正面臨“數據墻”的挑戰，預訓練時代可能終結。他并不認同通過視頻數據、私域數據或AI合成數據來解決數據匱乏問題的觀點，并提出了“死亡互聯網理論”：AI生成的數據快速增長，而人類生產的高質量數據卻在減少，這可能導致模型崩潰。

5. 下半場展望：Agent時代與智算基礎設施重構

何寶宏預測，2025年Agent將成為焦點。Agent是目標導向的，這與大模型的知識壓縮屬性形成對比。Agent的出現也帶來新的挑戰，例如如何確保Agent的目標與人類目標一致。此外，下半場算力將更加注重邊緣算力、混合算力以及智算基礎設施的重構，這將是一個技術密集型、資金密集型、能耗密集型和人才密集型的過程。如果不加以控制，到2030年，全球20%的電力可能被人工智能數據中心消耗。

6. 人工智能“幻覺”的雙面性

何寶宏認為，人工智能的“幻覺”并非完全負面，它可能是創意和創新的基礎，尤其在文學、藝術和科技領域。

總而言之，大模型發展正經歷從“拼性能”到“拼性價比”的轉變，并面臨著數據瓶頸、算力挑戰以及Agent等新技術的沖擊。未來大模型的發展需要在技術創新、資源利用和倫理安全等方面取得突破。

聯系作者

文章來源：人工智能學家
作者微信：
作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構