AIGC動態歡迎閱讀

原標題：又快又準，即插即用！清華8比特量化Attention，兩倍加速于FlashAttention2，各端到端任務均不掉點！
關鍵字：矩陣,注意力,模型,累加器,精度
文章來源：機器之心
內容字數：0字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com論文第一作者張金濤來自清華大學計算機系，論文通訊作者陳鍵飛副教授及其他合作作者均來自清華大學計算機系。
大模型中，線性層的低比特量化（例如 INT8, INT4）已經逐步落地；對于注意力模塊，目前幾乎各個模型都還在用高精度（例如 FP16 或 FP32）的注意力運算進行訓練和推理。然而，隨著大型模型需要處理的序列長度不斷增加，Attention（注意力運算）的時間開銷逐漸成為網絡優化的主要瓶頸。
為了提高注意力運算的效率，清華大學陳鍵飛團隊提出了 8Bit 的 Attention（SageAttention）。實現了 2 倍以及 2.7 倍相比于 FlashAttention2 和 xformers 的即插即用的推理加速，且在視頻、圖像、文本生成等大模型上均沒

原文鏈接：又快又準，即插即用！清華8比特量化Attention，兩倍加速于FlashAttention2，各端到端任務均不掉點！

聯系作者

文章來源：機器之心
作者微信：
作者簡介：