顯存：清華與OpenBMB聯合打造新算法，50個7B模型僅需80G顯存，節省高達8倍！

實現接近無損的任務性能

原標題：80G顯存塞50個7B大模型！清華&OpenBMB開源增量壓縮新算法，顯存節省8倍
文章來源：量子位
內容字數：4377字

Delta-CoMe：量子位最新模型增量壓縮技術

Delta-CoMe是清華大學NLP實驗室與OpenBMB開源社區、北京大學和上海財經大學合作提出的一項新技術，旨在通過參數增量（Delta）實現模型的高效壓縮與部署。此技術能夠使得一塊80G的A100 GPU加載多達50個7B模型，顯著節省顯存并保持接近無損的模型性能。

1. 技術核心與創新

Delta-CoMe結合了低秩分解和低比特量化技術，利用Delta參數的低秩特性來進行壓縮。這種混合精度壓縮方法不僅提升了推理效率，還在復雜任務上保持了與未壓縮模型相似的性能表現。與傳統的微調方法相比，Delta-CoMe展現出更高的靈活性和適應性，尤其在多任務和多租戶場景中極具應用價值。

2. 實驗與性能評估

實驗表明，使用Llama-2作為主干模型，Delta-CoMe在數學推理、代碼生成和對話等多個任務中表現出幾乎無損的性能。此外，該方法還在Mistral和Llama-3等其他開源模型上進行了驗證，進一步確認了其有效性和優越性。通過采用Triton kernel進行優化，推理速度提升約3倍，使得大規模模型的部署成為可能。

3. Delta-CoMe與其他方法的比較

Delta-CoMe與Delta-Tuning、LoRA等傳統方法相比，在相同存儲開銷下表現出更優的性能。Delta-Tuning是通過訓練部分參數進行微調，而Delta-CoMe則是先進行全參數微調，再壓縮增量。這一創新為資源受限的環境下的模型部署提供了新的思路。

4. 未來展望

Delta-CoMe不僅在壓縮和推理速度上展現出巨大潛力，也有望推動大語言模型的普及和高效運作。隨著技術的不斷優化，未來可能會實現更廣泛的實際應用，為多種場景下的智能化解決方案提供支持。

總之，Delta-CoMe作為一種新興的模型壓縮技術，展現了在資源利用、性能優化及應用靈活性方面的顯著優勢，將在未來的人工智能發展中發揮重要作用。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破