清華大學發現新的大模型定律，LLM的能力密度每 3.3 個月翻一番

清華大學孫茂松老師、劉知遠老師研究組，最近發表了一篇論文，提出了一個新的大模型定律——叫密度定律（Densing Law）：模型的能力密度隨時間呈現指數級增長，LLMs 的能力密度大約每 3.3 個月翻一番。按照這個速度推測，到 25 年底，就能擁有僅 8B 參數的 GPT-4 級別的模型。知道 Scaling Law，但這個 Densing Laws 又是干什么的呢？我們都知道，Scaling Law 并非是什么科學定律，就是長期實踐的經驗法則，給大模型的演進提供了方向。但是隨著 GPT-5 遲遲沒有訓練出來和算力、電力資源的緊缺，讓我們明白，Scaling Law 也只不過是在現有技術條件和資源約束下的最優實踐而已。而目前普遍關注的問題是：模型規模與計算效率如何權衡？這篇論文的出現，便是給解答這個問題提供了一些思路。論文標題：Densing Law of LLMs論文鏈接：https://arxiv.org/pdf/2412.04315v2這條定律里出現了一個新概念——能力密度（Capability Density），論文里給它的定義是：LLM 的有效參數量與實際參數量的比率。那接著就會問了，什么是有效參數量呢？有效參數量是指，如果達到與目標模型同等性能，所需的參考模型的參數數量。說了半天，通俗點講就是：一個 100B 的模型，另一個 10B 的模型就能達到和 100B 相同的性能，這個 10B 模型的能力密度就是 100/10=10。全文最核心的就是這張圖，下面展開分析分析。（灰色的實線是模型的能力密度數值，紅色的虛線代表隨著時間的進展趨勢。）3.3 個月是怎么得出來的（下面是建模過程，我已經盡可能精簡了，如果不想看，可以跳過這趴）為了計算能力密度，首先要測算出有效參數量，也就是參考模型達到與目標模型同樣性能所需的參數量。所以，研究團隊需要擬合一個關聯（參考模型參數量和性能）兩者的函數 S=f?(N) ，其中 S 表示下游性能， N 表示參考模型的參數量，求一階導得到 N 的大小（也就是有效參數）：對于具有 N? 參數的目標模型 ? ，假設其在下游任務上的性能得分為 S? 。根據能力密度的公式，可以得到：最關鍵地還是測算出這個擬合函數，S=f?(N) ，確定了這個函數，就能利用上面的公式輕松得到能力密度了。為此，研究團隊特意采用了兩步估計法。第一步是損失估計，即參數量 和 Loss 之間的關系；第二步是性能估計，即 Loss 與性能之間的關系。性能與參數量的關系就被建模成了為此，清華研究團隊特意訓練了一系列不同參數規模的參考模型，逼近 29 個開源模型在 5 個基準測試上性能。團隊收集了從 23 年 3 月份以來發布的開源大模型，一共 29 個開源模型，包括 Llama 系列（Llama-1 系列、Llama-2 系列、Llama-3 系列、Phi 系列（Phi-1、Phi-1.5、Phi-2 系列）、Gemma 系列、Mistral-7B、Falcon-40B、MiniCPM 系列。5 個基準測試包括 MMLU、BBH、MATH 、HumanEval 和 MBPP。最終，擬合出這個線性函數，擬合得到斜率 A ≈ 0.007， B是個常數。其中 t 是自 Llama-1 發布日期以來的時間間隔（單位：天）， ρ 是 t 時刻的能力度值。3.3 個月的具體的推算過程，直接看這個就明白了。按照這個定律推測，在 2025-12 年，我們可以擁有僅 8B 參數的 GPT-4 級別 LLM。除了 Densing Law，還有 5 個推論另外，論文里還提出了 5 個比較置信的推論，我覺得也值得分享出來。推理成本呈指數下降邊緣人工智能變得越來越重要（摩爾定律 × 密度定律）大模型的能力密度還在繼續增強模型壓縮 ≠ 能力密度提升每個模型都有一個較短的“最佳性價比期”大模型推理成本呈指數下降這點毋庸置疑，ChatGPT 剛推出來時每百萬 token 是 20 美元，現在 Gemini1.5 Flash 已經超過了 ChatGPT，價格才是 0.0075 美元。降了 266 倍。端側奇點在加速到來代表芯片電路發展規律摩爾定律和代表模型有效性和效率的密度定律，如果同時持續發展，兩條曲線交匯處，代表端側 AI 的奇點到來，PC、手機、機器人等端側設備將能夠運行效果足夠好的模型，到那時候就會迎來一個繁榮的端側智能生態。大模型的能力密度還在繼續增強ChatGPT 是 22 年 11 月發布，在此之前，以每 4.8 個月翻番，發布之后以每 3.3 個月翻番。這代表 ChatGPT 激起了國內外的百模大戰，開源模型的發展速度更快，以更快的速度出現更高質量的開源模型。模型壓縮 ≠ 能力密度提升論文中還提到一點，之前的模型壓縮算法不等同于提高模型密度，因為實驗表明，大多數的壓縮模型的密度都低于原始模型。每個模型都有一個較短的“最佳性價比期”隨著模型的能力密度在加速增強，每隔幾個月就能出現更小、更精悍的模型，這說明這個模型它的最佳性價比窗口期在算短，淘汰速度也會變得更快。比如，谷歌 Gemma-2-9B 推出倆月之后，面壁智能的 MiniCPM-3-4B 小鋼炮就做到了同樣效果。這篇論文提出的密度定律，給 LLM 的發展提供了一種新的視角，不再是只追求模型參數量的暴力增長，而是轉向思考一個更務實的問題，如何能以最小的計算開銷實現最佳的模型效果。直觀上，如果一個模型能夠在相同規模的參數下取得更好的性能，那么該模型的密度就更高。所以，在計算資源有限的部署設備上，未來我們應該花大力氣提高模型的密度，而不是僅僅增加模型參數規模來獲得更好的性能。