AIGC動態歡迎閱讀

原標題：從LLM中完全消除矩陣乘法，效果出奇得好，10億參數跑在FPGA上接近大腦功耗
關鍵字：模型,語言,權重,報告,研究人員
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
機器之心編輯部讓語言模型「輕裝上陣」。一直以來，矩陣乘法（MatMul）穩居神經網絡操作的主導地位，其中很大原因歸結為 GPU 專門針對 MatMul 操作進行了優化。這種優化使得 AlexNet 在 ILSVRC2012 挑戰賽中一舉勝出，成為深度學習崛起的歷史性標志。
在這當中，有個值得注意的點是，AlexNet 利用 GPU 來提高訓練速度，超越了 CPU 的能力，至此，GPU 的加入使得深度學習仿佛贏得了「硬件彩票」。盡管 MatMul 在深度學習中很流行，但不得不承認的是它占據了計算開銷的主要部分，主要表現為 MatMul 在訓練和推理階段消耗大部分執行時間和內存訪問。
目前為止，研究者已經開始借助其他更簡單的操作替代 MatMul，主要有兩種。
第一種策略是使用初等運算代替 MatMul，例如，在卷積神經網絡 (CNN) 中，用有符號加法代替乘法；
第二種方法是使用二值或三值化量化，將 MatMul 值在累加之前要么翻轉要么清零。比如脈沖神經網絡 (SNN) 使用二值激活，而二值化網絡 BNN 使用量化權重。
在語言建模方面，BitNet 等技術的出現表明量化

原文鏈接：從LLM中完全消除矩陣乘法，效果出奇得好，10億參數跑在FPGA上接近大腦功耗

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺