突破無規則稀疏計算邊界，編譯框架CROSS數倍提升模型性能

AIGC動態歡迎閱讀

原標題：突破無規則稀疏計算邊界，編譯框架CROSS數倍提升模型性能
關鍵字：矩陣,負載,模型,開銷,區域
文章來源：機器之心
內容字數：0字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本篇工作已被 HPCA 2025 接收，由上海交大先進計算機體系結構實驗室蔣力教授課題組（IMPACT）完成，同時也獲得了上海期智研究院的支持。第一作者是劉方鑫老師與博士生黃世遠。
在現代 AI 模型的快速迭代中，如何在保持模型精度的同時提升計算效率成為關鍵課題。尤其在大規模 AI 推理中，非結構化稀疏矩陣的計算效率低下成為難以突破的瓶頸。面對這一挑戰，我們自主研發了 CROSS—— 一種創新的端到端稀疏編譯優化方案，為 AI 推理帶來細粒度稀疏計算的加速效果。稀疏計算的挑戰：如何處理非均勻稀疏分布
非結構化細粒度稀疏場景下模型推理效率低下問題是 AI 編譯社區面對的關鍵問題之一。相比于密集算子加速庫（cuBlas），主要的稀疏算子加速庫或編譯框架需要在較高稀

原文鏈接：突破無規則稀疏計算邊界，編譯框架CROSS數倍提升模型性能

聯系作者

文章來源：機器之心
作者微信：
作者簡介：