微軟6頁論文爆火：三進制LLM，真香！

AIGC動態歡迎閱讀

原標題：微軟6頁論文爆火：三進制LLM，真香！
關鍵字：騰訊,知乎,模型,參數,權重
文章來源：量子位
內容字數：4590字

內容摘要：

金磊 發自 凹非寺量子位 | 公眾號 QbitAI現在，大語言模型（LLM）迎來了“1-bit時代”。
這就是由微軟和中國中科院大學在最新一項研究中所提出的結論——
所有的LLM，都將是1.58 bit的。
具體而言，這項研究提出的方法叫做BitNet b1.58，可以說是從大語言模型“根兒”上的參數下手。
將傳統以16位浮點數（如FP16或BF16）形式的存儲，統統變成了三進制，也就是{-1, 0, 1}。
值得注意的是，這里的“1.58 bit”并不是指每個參數占用1.58字節的存儲空間，而是指每個參數可以用1.58位的信息來表示。
在如此轉換之后，矩陣中的計算就只會涉及到整數的加法，因此會讓大模型在保持一定精度的同時，顯著減少所需的存儲空間和計算資源。
例如BitNet b1.58在3B模型大小時與Llama做比較，速度提高了2.71倍的同時，GPU內存使用幾乎僅是原先的四分之一。
而且當模型的規模越大時（例如70B），速度上的提升和內存上的節省就會更加顯著！
這種顛覆傳統的思路著實是讓網友們眼前一亮，論文在X上也是受到了高度的關注：
網友們驚嘆“改變游戲規則”的同時，還玩起了谷

原文鏈接：微軟6頁論文爆火：三進制LLM，真香！

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破