Scaling Law不是唯一視角！清華劉知遠團隊提出大模型“密度定律”：模型能力密度100天翻番

來源：量子位 | 公眾號 QbitAI克雷西 發自 凹非寺Scaling Law并非描述大模型能力的唯一視角！清華NLP實驗室劉知遠教授團隊，最新提出大模型的密度定律（densing law），表達形式讓人想到芯片領域的摩爾定律：模型能力密度隨時間呈指數級增長，2023年以來能力密度約每3.3個月（約100天）翻一倍。根據密度定律，研究團隊還得出以下重要推論——AI時代的三大核心引擎——電力、算力與智力，都同樣遵循密度快速增長趨勢。為了發現這一結論，研究團隊引入了一項衡量大模型性價比的新指標——能力密度（capability density）。團隊通過設置參考模型的方式，將“能力密度”定義為了“有效參數量”與實際參數量的比值。給定目標模型后，其“有效參數量”被定義為實現與目標模型一樣的效果，參考模型需要的最少參數量。論文第一作者肖朝軍表示，根據擬合曲線，到了明年年底，只要8B參數就能實現和GPT-4一樣的效果。論文地址：https://arxiv.org/abs/2412.04315大模型“能力密度”三個月翻一番大模型尺度定律（Scaling Law）和密度定律（Densing Law），都是大模型指導性的規律發現。它們分別在不同的維度，對大模型進行科學化的推演。大模型尺度定律是一種描述大模型隨著規模的變化而發生的規律性變化的數學表達，表現為大模型的Loss與模型參數規模、訓練數據規模之間的冪律關系。尺度定律之外，清華研究團隊發現，大模型還有另一種度量與優化的空間，能力密度（Capability Density），它為評估不同規模 LLM 的訓練質量提供了新的統一度量框架。清華研究團隊提出的“能力密度”（Capability Density），定義為給定LLM的有效參數大小與實際參數大小的比率。有效參數大小指的是達到與目標模型同等性能所需的參考模型的參數數量。清華研究團隊特別引入了參考模型（Reference Model）的概念，通過擬合參考模型在不同參數規模下的性能表現，建立起參數量與性能之間的映射關系。具體來說，若一個目標模型M的參數量為NM ，其在下游任務上的性能分數為SM，研究人員會計算出參考模型要達到相同性能所需的參數量 N(SM)，即“有效參數量”。目標模型M的密度就定義為這個“有效參數量”與其實際參數量的比值：ρ(M) = N(SM)/NM。比如一個3B的模型能達到6B參考模型的性能，那么這個3B模型的能力密度就是2（6B/3B）。為了準確估計模型性能，研究團隊采用了兩步估計法。第一步是損失（Loss）估計，通過一系列不同規模的參考模型來擬合參數量與語言模型Loss之間的關系；第二步是性能估計，考慮到涌現能力的存在，研究人員結合開源模型來計算它們的損失和性能，最終建立起完整的映射關系。通過研究分析近年來29個被廣泛使用的開源大模型，清華研究團隊發現，LLMs的最大能力密度隨時間呈指數增長趨勢，可以用公式ln(ρmax) = At + B來描述.其中ρmax是時間t時LLMs的最大能力密度。密度定律表明，大約每過3.3個月（100天），就能用參數量減半的模型達到當前最先進模型的性能水平。ChatGPT發布后，能力密度增長更快了基于密度法則，清華研究團隊提出了多個重要推論。首先，模型推理開銷隨時間指數級下降。2022年12月的GPT-3.5模型每百萬Token的推理成本為20美元，而2024年8月的Gemini-1.5-Flash模型僅為0.075美元，成本降低了266倍，約2.5個月下降一倍。與此同時，大模型推理算法不斷取得新的技術突破——模型量化、投機采樣、顯存優化。其次，研究還發現，自ChatGPT發布以來，大模型能力密度正在加速增強。以MMLU為評測基準測量的能力密度變化情況，ChatGPT發布前按照每4.8倍增，發布后按照每3.2月倍增，密度增強速度增加50%。這一現象背后，更高效模型引起了學術界和產業的廣泛關注，誕生了更多高質量開源模型。再次，芯片電路密度（摩爾定律）和模型能力密度（密度定律）持續增強，兩條曲線交匯揭示端側智能巨大潛力。研究顯示，在摩爾定律的作用下，相同價格芯片的計算能力每2.1年翻倍，而密度法則表明模型的有效參數規模每3.3個月翻倍。兩條曲線的交匯，意味著主流終端如PC、手機將能運行更高能力密度的模型，推動端側智能在消費市場普及。此外，團隊指出，無法僅依靠模型壓縮算法增強模型能力密度。也就是說，現有的模型壓縮技術（如剪枝和蒸餾）未必能提高模型密度。實驗表明，大多數壓縮模型的密度低于原始模型，模型壓縮算法雖可以節省小參數模型構建開銷。但是如果后訓練不充分，小參數模型能力密度非但不會增長，反而會有顯著下降。最后，研究團隊指出，模型高性價比有效期不斷縮短。根據尺度定律，更多數據+更多參數實現能力增強，訓練成本會急劇上升；而能力密度定律，隨著能力密度加速增強，每隔數月會出現更加高效的模型。這意味著模型高性價比的有效使用期縮短，盈利窗口短暫。例如，2024年6月發布的Google Gemma-2-9B模型，其訓練成本約185 萬人民幣；但僅兩個月后，它的性能就被參數量減半的MiniCPM-3-4B超越。以API盈利方式估算，2個月內需要17億次用戶訪問，才能夠收回訓練成本！尺度定律下，LLM規模至上。而在密度定律下，LLM正進入一個全新的發展階段。在清華劉知遠老師最新報告中，AI時代的三大核心引擎——電力、算力與智力，密度都在快速增長：電池能量密度在過去20年中增長了4倍，其倍增周期約為10年；摩爾定律則揭示，芯片的晶體管密度每18個月翻倍；而AI模型能力密度每100天翻倍的速度更是驚人。尤其是模型能力密度的提升也意味著用更少的資源實現更強的能力，這不僅降低了AI發展對能源和算力的需求，也為AI技術的可持續發展提供了無限可能。同時也揭示了端側智能的巨大潛力。在這一趨勢下，AI計算從中心端到邊緣端的分布式特性協同高效發展，將實現“AI無處不在”的愿景。作者預計，隨著全球AI計算云端數據中心、邊緣計算節點的擴張，加上模型能力密度增長帶來的效率提升，我們將看到更多本地化的AI模型涌現，云端和邊緣端各司其職，可運行LLM的終端數量和種類大幅增長，“AI 無處不在”的未來正在到來。論文地址：https://arxiv.org/abs/2412.04315閱讀報告全文，請訪問歐米伽研究所的“未來知識庫”https://wx.zsxq.com/group/454854145828未來知識庫是“歐米伽未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。截止到11月25日 ”未來知識庫”精選的100部前沿科技趨勢報告Air Street Capital《2024 年人工智能現狀報告》未來今日研究所：2024 技術趨勢報告 – 廣義計算篇科睿唯安中國科學院 2024 研究前沿熱度指數報告文本到圖像合成：十年回顧《以人為中心的大型語言模型（LLM）研究綜述》經合組織 2024 年數字經濟展望報告加強連通性創新與信任第二版波士頓咨詢 2024 全球經濟體 AI 成熟度矩陣報告理解世界還是預測未來？世界模型的綜合綜述Google Cloud CSA2024 AI 與安全狀況調研報告英國制造商組織 MakeUK2024 英國工業戰略愿景報告從概念到實施花旗銀行 CitiGPS2024 自然環境可持續發展新前沿研究報告國際原子能機構 2024 聚變關鍵要素報告 – 聚變能發展的共同愿景國際可再生能源署 IRENA2024 年全球氣候行動報告Cell: 物理學和化學 、人工智能知識領域的融合智次方 2025 中國 5G 產業全景圖譜報告未來今日研究所：2024 技術趨勢報告 – 移動性，機器人與無人機篇Deepmind：AI 加速科學創新發現的黃金時代報告PitchBookNVCA2024 年第三季度全球風險投資監測報告德科 2024 年未來全球勞動力報告高工咨詢 2024 年協作機器人產業發展藍皮書國際能源署 IEA2024 年全球能源效率報告基因慧基因行業藍皮書 2024 – 2025普華永道 PwC2024 全球經濟犯罪調查英國報告 – 智對風險直面挑戰中國互聯網協會 2024 面向未來網絡的數字孿生城市場景應用白皮書中移智庫 2024 先進感知新技術及新應用白皮書智次方研究院 2025 中國 AIoT 產業全景圖譜報告未來今日研究所：2024 技術趨勢報告 – 人工智能篇國際電聯：邁向衡量數字經濟的通用框架的路線圖聯合國糧食與農業組織：2024 年世界糧食安全和營養狀況大語言模型綜述李飛飛等，AI 智能體：探索多模式交互的前景綜述哈爾濱工業大學 – ChatGPT 調研報告2024《美國核部署戰略報告》最新文件清華大學：AIGC 發展研究 3.0 發布版 b 版OpenAI：2024 年 OpenAI o1 大模型技術報告Verizon2024 年世界支付安全報告皇家學會哲學學報 從復雜系統角度評估人工智能風險復旦大學 大模型 AI 代理的興起和潛力：綜述經合組織 OECD2024 年氣候行動監測報告Wevolver2024 年邊緣人工智能現狀報告 – 探索各行業邊緣 AI 應用動態2024 全球人形機器人產品數據庫報告 – 人形機器人洞察研究 BTIResearch《全球金融穩定報告》 把舵定航 不確定性、人工智能與金融穩定瑞士洛桑聯邦理工學院 《人工智能中的 – 創造力：進展與挑戰》《你所需要知道的理 – 論：人工智能、人類認知與決策》牛津大學最新 53 頁報告世界經濟論壇 新興技術時代的網絡彈性導航：應對復雜挑戰的協作解決方案 2024ADL 理特咨詢 2024 汽車出行未來展望報告2024 中國硬科技創新發展白皮書 – 開辟未來產業新賽道科學時代的大語言模型中的人工智能Gartner2025 年重要戰略技術趨勢報告CBInsights2024 年第三季度全球人工智能投融資狀況報告TrendHunter2025 年全球趨勢報告 – 全行業頂級創新和變革趨勢前瞻天津大學 2024 大模型輕量化技術研究報告歐洲海洋局 2024 導航未來報告將海洋置于更廣泛的地球系統中第六版美國安全與新興技術中心 2024 AI 生成代碼的網絡安全風險研究報告國際原子能機構 2024 年世界聚變展望報告復旦大學 2024 大語言模型的能力邊界與發展思考報告安盛 AXA2024 年氣候與生物多樣性報告氣候過渡計劃路線圖YouGov2024 美國公眾對人工智能 AI 的態度調研報告麥肯錫中國報告：《中國與世界》完整版麥肯錫全球研究所 2024 下一代競技場報告 – 重塑全球經濟的 18 個新興行業領域Project Sid，一個旨在模擬多智能體交互以研究 AI 文明的項目德國研究與創新專家委員會 德國研究創新與科技成果報告2024 年歐洲關鍵產業的科技重塑研究報告智能體專題報告之二 – 智能體時代來臨具身智能有望成為最佳載體ActivateConsulting 2025 年頂級技術和媒體發展趨勢報告蘭德 全球災難風險評估斯坦福李飛飛 《AI agent 綜述》Agent AI 開啟多模態交互新紀元中國聯通研究院 2024 中國生成式人工智能應用與實踐展望白皮書中文版普華永道 2024 第五次工業研究報告邁向彈性可持續和以人為本的未來大成 Dentsons2024 年全球智慧城市與互聯社區智庫年度報告TechUK2024 量子技術挑戰與機遇并存構筑量子韌性的策略與實踐研究報告Emakina 將塑造 2024 年的技術趨勢報告圖靈獎得主 Yann LeCun《機器如何才能達到人類智能水平？》——Yann LeCun， 附 Slides 及視頻華為：2024 鴻蒙生態應用開發白皮書 V3.0（最新版）CASA：2023 第三代半導體產業發展報告大型視覺語言模型中幻覺現象的綜述IEA PVPS：2024 光伏應用趨勢報告（英文版）ABI Research：82 個將會或不會在 2024 年發生的技術趨勢白皮書《美國反無人機系統未來趨勢報告（2024 – 2029 年）》《軍事自主系統：未來之路》美空間智能如何？牛津大學博士論文《深度具身智能體的空間推理與規劃》2024 低空經濟場景白皮書 v1.0戰略與國際研究中心（CSIS）人類地月空間探索的總體狀況研究報告（2024）Artificial Intelligence Review：人工智能與物理學相遇的綜述麥肯錫：全球難題，應對能源轉型的現實問題歐米伽理論，智能科學視野下的萬物理論新探索（研究論文）Gartner 2025 年主要戰略技術趨勢研究報告2024 人工智能國外大模型使用手冊 + 中文大模型使用手冊詳解光刻巨人 ASML 成功之奧妙 – 241015CB Insights：未來變革者：2025 年九大科技趨勢研究報告國際電信聯盟 2023 – 2024 年聯合國人工智能 AI 活動報告《人工智能能力的人類系統集成測試和評估》最新 51 頁，美國防部首席數字和人工智能辦公室（CDAO）2024 瑞典皇家科學院諾貝爾化學獎官方成果介紹報告MHP 2024 全球工業 4.0 晴雨表白皮書世界經濟論壇白皮書《AI 價值洞察：引導人工智能實現人類共同目標》瑞典皇家科學院諾貝爾物理學獎科學背景報告資料AI 智能體的崛起：整合人工智能、區塊鏈技術與量子計算 (研究報告，書）OpenAI o1 評估：AGI 的機遇和挑戰（280 頁）世界知識產權組織：2024 年全球創新指數美國白宮：國家近地天體防御策略與行動計劃上下滑動查看更多