實現大模型的能力密度約每3.3個月翻一倍。

原標題：對話面壁智能劉知遠：Densing Law是大模型能力的另一個度量衡｜甲子光年
文章來源：甲子光年
內容字數：15125字

大模型能力密度的快速增長

隨著大模型技術的不斷發展，面壁智能的劉知遠教授團隊提出了“密度定律（Densing Law）”，即大模型的能力密度每3.3個月翻一倍。這意味著每過100天，我們可以用更少的參數實現相同的性能，預示著未來大模型技術將朝著更高效的方向發展。

1. Densing Law的定義與意義

Densing Law強調模型能力隨著時間的推移以指數級增長，標志著大模型技術進入了一個新的階段。近年來，隨著算力和算法的協同發展，模型的智能表現得到了顯著提升，推動了智能涌現現象的發生。

2. Densing Law的七個推論

根據Densing Law，可以得出以下幾條重要結論：

• 模型參數規模每100天減少一半，能夠實現相同的能力。
• 模型的尺寸與推理速度呈正相關，推理開銷將呈指數級下降。
• 訓練開銷將隨時間迅速下降，能耗和資源消耗將減少。
• 大模型的能力密度在ChatGPT發布后加速增強，倍增速度加快。
• 隨著能力密度增強，端側部署的模型將愈發高效。
• 現有的模型壓縮技術可能導致能力密度下降，需從頭訓模型。
• 模型能力密度的倍增決定了模型的有效使用期，需充分利用其應用價值。

3. 對未來大模型的展望

劉知遠教授指出，未來的端側AI生態將迎來爆發點，預計在明年或后年可以用更少的參數實現當前最優模型的能力。大模型將像CPU一樣無處不在，每個人都能使用高效的AI工具。

4. 技術發展的核心驅動力

面壁智能認為，未來大模型技術將依賴電力、算力和智力三大核心驅動力。通過不斷降低模型和芯片的成本，推動技術進步，使每個人都能擁有屬于自己的AI助手，實現智能。

綜上所述，Densing Law的提出為大模型的發展提供了新的視角，強調了能力密度的提升和技術進步的重要性，未來大模型將在各個領域廣泛應用，推動人工智能的普及與發展。

聯系作者

文章來源：甲子光年
作者微信：
作者簡介：甲子光年是一家科技智庫，包含智庫、社群、企業服務版塊，立足中國科技創新前沿陣地，動態跟蹤頭部科技企業發展和傳統產業技術升級案例，推動人工智能、大數據、物聯網、云計算、新能源、新材料、信息安全、大健康等科技創新在產業中的應用與落地。