突破無規(guī)則稀疏計算邊界，編譯框架CROSS數(shù)倍提升模型性能

AIGC動態(tài)歡迎閱讀

原標題：突破無規(guī)則稀疏計算邊界，編譯框架CROSS數(shù)倍提升模型性能
關鍵字：矩陣,負載,模型,開銷,區(qū)域
文章來源：機器之心
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

AIxiv專欄是機器之心發(fā)布學術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進了學術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本篇工作已被 HPCA 2025 接收，由上海交大先進計算機體系結(jié)構(gòu)實驗室蔣力教授課題組（IMPACT）完成，同時也獲得了上海期智研究院的支持。第一作者是劉方鑫老師與博士生黃世遠。
在現(xiàn)代 AI 模型的快速迭代中，如何在保持模型精度的同時提升計算效率成為關鍵課題。尤其在大規(guī)模 AI 推理中，非結(jié)構(gòu)化稀疏矩陣的計算效率低下成為難以突破的瓶頸。面對這一挑戰(zhàn)，我們自主研發(fā)了 CROSS—— 一種創(chuàng)新的端到端稀疏編譯優(yōu)化方案，為 AI 推理帶來細粒度稀疏計算的加速效果。稀疏計算的挑戰(zhàn)：如何處理非均勻稀疏分布
非結(jié)構(gòu)化細粒度稀疏場景下模型推理效率低下問題是 AI 編譯社區(qū)面對的關鍵問題之一。相比于密集算子加速庫（cuBlas），主要的稀疏算子加速庫或編譯框架需要在較高稀

原文鏈接：突破無規(guī)則稀疏計算邊界，編譯框架CROSS數(shù)倍提升模型性能

聯(lián)系作者

文章來源：機器之心
作者微信：
作者簡介：