AIGC動態歡迎閱讀

原標題：微軟開源爆火1.58bit大模型推理框架！千億參數模型量化后單CPU可跑，速度每秒5-7個token
關鍵字：模型,框架,權重,參數,微軟
文章來源：量子位
內容字數：0字

內容摘要：

西風 發自 凹非寺量子位 | 公眾號 QbitAI微軟開源1bit大模型推理框架！
現在1000億參數大模型量化后單CPU可跑，速度可達每秒5-7個token。
比如在蘋果M2新品上運行BitNet b1.58 3B模型，be like：
就是今年爆火論文The Era of 1-bit LLMs的官方代碼實現，開源不到一周GitHub已攬獲7.9k Star。
傳統大模型參數以16位浮點數（如FP16或BF16）形式的存儲，而BitNet b1.58將其統統變成了三進制，也就是{-1, 0, 1}。
這里的“1.58 bit”指每個參數可以用1.58位的信息來表示。
轉換之后，矩陣中的計算就只會涉及到加法，因此會讓大模型在保持一定精度的同時，顯著減少所需的存儲空間和計算資源，也顯著提升了在本地設備上運行LLM的可能性。
這個項目開源后，在X上也受到了一波高度關注。
千億參數模型量化后單CPU可跑bitnet.cpp是1bit LLM（例如 BitNet b1.58）的官方推理框架。
該框架配備了一系列優化內核，支持在CPU上進行快速且無損的1.58bit模型推理，未來將擴展支持NPU

原文鏈接：微軟開源爆火1.58bit大模型推理框架！千億參數模型量化后單CPU可跑，速度每秒5-7個token

聯系作者

文章來源：量子位
作者微信：
作者簡介：