突破極限：LLM能力密度驚人翻倍的Densing法則揭秘

大模型不僅有Scaling Law，還有Densing Law

原標題：LLM最大能力密度100天翻一倍！清華劉知遠團隊提出Densing Law
文章來源：機器之心
內容字數：5265字

大模型的發展趨勢：Scaling Law與Densing Law

近期，AI領域針對大模型的Scaling Law（尺度定律）是否達到瓶頸產生了分歧。一方面，有觀點認為Scaling Law已經“撞墻”，無法繼續依賴數據和參數規模的堆疊來提升性能；而另一方面，OpenAI的CEO Sam Altman則認為其潛力尚未窮盡。

1. Densing Law的提出

清華大學劉知遠教授團隊提出了新的概念——Densing Law（密度定律），該定律表明大模型的能力密度（即模型性能與參數規模的比率）隨時間以指數級增長。研究顯示，自2023年以來，大模型的能力密度約每3.3個月翻一倍，即每100天用一半的參數量即可實現當前最優模型的性能。

2. 重要推論

基于Densing Law，研究團隊提出了以下幾個重要推論：

• 模型推理開銷隨時間指數級下降。
• 大模型能力密度正在加速增強。
• 模型小型化揭示了端側智能的巨大潛力。
• 無法僅依靠模型壓縮算法增強模型能力密度。
• 模型高性價比的有效期不斷縮短。

3. 能力密度的計算

研究團隊引入了參考模型的概念，通過比較不同參數規模下模型的性能，建立了參數量與性能之間的映射關系。目標模型的能力密度被定義為有效參數量與實際參數量的比值。

4. 未來的發展方向

Densing Law揭示了AI發展中的新階段，強調電力、算力與智力三大核心引擎的快速增長。隨著模型能力密度的提升，AI技術的可持續發展也提供了新的可能性，尤其是在邊緣計算與云計算的協同下，預計將實現“AI無處不在”的愿景。

綜上所述，清華大學的研究為大模型的發展提供了新的視角，強調能力密度的重要性，并指出未來在模型設計與應用上需持續探索與創新。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺