港大北航等1bit大模型引熱議，IEEE刊物評“解決AI能源需求”！作者親自解讀在此

AIGC動態歡迎閱讀

原標題：港大北航等1bit大模型引熱議，IEEE刊物評“解決AI能源需求”！作者親自解讀在此
關鍵字：權重,解讀,報告,模型,研究人員
文章來源：量子位
內容字數：0字

內容摘要：

BiLLM團隊 發自 凹非寺量子位 | 公眾號 QbitAI極限量化，把每個參數占用空間壓縮到1.1bit！
IEEE Spectrum專欄，一種名為BiLLM的訓練后量化（PTQ）方法火了。
通俗來講，隨著LLM參數規模越來越大，模型計算的內存和資源也面臨著更大的挑戰。如何把模型變得小巧經濟實惠，能塞進手機等設備中？
BiLLM解決的正是這樣的一個問題。它使用1bit來近似網絡中的大多數參數，使用2bit來表示一些對性能最有影響的權重。
實驗測試中，研究人員對OPT模型、Llama系列進行了二值化。
在OPT模型家族上，BiLLM以1.1bit的平均權重大小實現了目前最極限的LLM訓練后壓縮；在Llama系列模型上，BiLLM在1.08bit下的表現甚至超過了使用全精度的OPT-66B模型。
效率方面，BiLLM能夠在單個GPU上半小時內完成7B LLM的二值化。
BiLLM發布當天，便引發了網友對大模型優化的熱議，有網友就表示：
量化不是沒有代價。Llama3模型的量化效果比Llama2模型要差，量化過程中的質量損失更大。
直覺是，一個訓練不足的模型受到量化的影響較小，因為其訓練過

原文鏈接：港大北航等1bit大模型引熱議，IEEE刊物評“解決AI能源需求”！作者親自解讀在此

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破