顯存：清華與OpenBMB聯(lián)合打造新算法，50個(gè)7B模型僅需80G顯存，節(jié)省高達(dá)8倍！

實(shí)現(xiàn)接近無損的任務(wù)性能

原標(biāo)題：80G顯存塞50個(gè)7B大模型！清華&OpenBMB開源增量壓縮新算法，顯存節(jié)省8倍
文章來源：量子位
內(nèi)容字?jǐn)?shù)：4377字

Delta-CoMe：量子位最新模型增量壓縮技術(shù)

Delta-CoMe是清華大學(xué)NLP實(shí)驗(yàn)室與OpenBMB開源社區(qū)、北京大學(xué)和上海財(cái)經(jīng)大學(xué)合作提出的一項(xiàng)新技術(shù)，旨在通過參數(shù)增量（Delta）實(shí)現(xiàn)模型的高效壓縮與部署。此技術(shù)能夠使得一塊80G的A100 GPU加載多達(dá)50個(gè)7B模型，顯著節(jié)省顯存并保持接近無損的模型性能。

1. 技術(shù)核心與創(chuàng)新

Delta-CoMe結(jié)合了低秩分解和低比特量化技術(shù)，利用Delta參數(shù)的低秩特性來進(jìn)行壓縮。這種混合精度壓縮方法不僅提升了推理效率，還在復(fù)雜任務(wù)上保持了與未壓縮模型相似的性能表現(xiàn)。與傳統(tǒng)的微調(diào)方法相比，Delta-CoMe展現(xiàn)出更高的靈活性和適應(yīng)性，尤其在多任務(wù)和多租戶場景中極具應(yīng)用價(jià)值。

2. 實(shí)驗(yàn)與性能評估

實(shí)驗(yàn)表明，使用Llama-2作為主干模型，Delta-CoMe在數(shù)學(xué)推理、代碼生成和對話等多個(gè)任務(wù)中表現(xiàn)出幾乎無損的性能。此外，該方法還在Mistral和Llama-3等其他開源模型上進(jìn)行了驗(yàn)證，進(jìn)一步確認(rèn)了其有效性和優(yōu)越性。通過采用Triton kernel進(jìn)行優(yōu)化，推理速度提升約3倍，使得大規(guī)模模型的部署成為可能。

3. Delta-CoMe與其他方法的比較

Delta-CoMe與Delta-Tuning、LoRA等傳統(tǒng)方法相比，在相同存儲開銷下表現(xiàn)出更優(yōu)的性能。Delta-Tuning是通過訓(xùn)練部分參數(shù)進(jìn)行微調(diào)，而Delta-CoMe則是先進(jìn)行全參數(shù)微調(diào)，再壓縮增量。這一創(chuàng)新為資源受限的環(huán)境下的模型部署提供了新的思路。

4. 未來展望

Delta-CoMe不僅在壓縮和推理速度上展現(xiàn)出巨大潛力，也有望推動大語言模型的普及和高效運(yùn)作。隨著技術(shù)的不斷優(yōu)化，未來可能會實(shí)現(xiàn)更廣泛的實(shí)際應(yīng)用，為多種場景下的智能化解決方案提供支持。

總之，Delta-CoMe作為一種新興的模型壓縮技術(shù)，展現(xiàn)了在資源利用、性能優(yōu)化及應(yīng)用靈活性方面的顯著優(yōu)勢，將在未來的人工智能發(fā)展中發(fā)揮重要作用。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破