單GPU就能壓縮模型，性能不變參數少25%！微軟提出模型稀疏化新方法

AIGC動態歡迎閱讀

原標題：單GPU就能壓縮模型，性能不變參數少25%！微軟提出模型稀疏化新方法
關鍵字：矩陣,模型,研究人員,區塊,正交
文章來源：新智元
內容字數：6562字

內容摘要：

新智元報道編輯：拉燕
【新智元導讀】大語言模型之大，成本之高，讓模型的稀疏化變得至關重要。眾所周知，對于大語言模型來說，規模越大，所需的算力越大，自然占用的資源也就越多。
研究人員于是乎把目光轉到了這片領域，即模型的稀疏化（Sparsification）。
今天要介紹的SliceGPT，則可以實現模型的事后稀疏。也就是說，在一個模型訓練完了以后再進行稀疏化操作。
該模型由微軟研究院和蘇黎世聯邦理工學院聯合發表在了arXiv上。
目前主流的稀疏化技術面臨著挺多挑戰和困難。比方說，需要額外的數據結構，而且在當下的硬件條件下，速度有限。
SliceGPT就能很好的解決這些問題——它能用一個較小的矩陣來替換每個權重矩陣，從而降低網絡的嵌入維度。
而實際結果也是非常不錯的，在LLAMA-2 70B、OPT 66B和Phi-2模型上，SliceGPT去除了多達25%的模型參數，還保證了模型本身99%、99%以及90%的零樣本任務的性能。
此外，SliceGPT還可以在更少的GPU上運行，無需額外的代碼優化。
在24GB的消費級GPU上，SliceGPT可以將LLAMA-2 70B總的推理計算量減

原文鏈接：單GPU就能壓縮模型，性能不變參數少25%！微軟提出模型稀疏化新方法

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。