讓 AI 視頻生成更快更省
原標題:剛剛!ASP-DAC 2025最佳論文出爐,無問芯穹上交大論文獲獎
文章來源:機器之心
內容字數:11295字
AI視頻生成加速器ViDA:將推理速度提升16倍
近日,上海交通大學與無問芯穹聯合研究團隊在ASP-DAC會議上獲得前端最佳論文獎,其研發的視頻生成軟硬一體加速器ViDA,實現了視頻擴散Transformer(VDiT)推理速度的顯著提升。
1. 背景:AI視頻生成市場蓬勃發展,但面臨速度瓶頸
AI視頻生成市場規模迅速擴張,但現有模型計算復雜度極高,尤其在高分辨率、長時序場景下,計算資源消耗巨大,成為產業發展的瓶頸。即使是大型影視制作團隊也難以承受高昂的時間和計算成本。
2. 挑戰:VDiT模型的幀間冗余和算子計算強度差異
VDiT模型雖然提升了視頻生成質量,但推理速度仍然緩慢。主要挑戰在于:幀間計算存在大量冗余,以及不同算子的計算強度差異巨大,導致硬件利用率低。
3. ViDA的核心思想:差分近似和自適應數據流
ViDA創新性地結合了幀間預測的差分計算與幀內稀疏特性分析,提出差分近似方法和自適應數據流架構,實現軟硬件協同優化。其核心思想在于利用視頻幀間的相似性減少冗余計算。
4. 技術要點:
差分近似方法:減少Act-Act算子的計算量,降低了51.67%。通過忽略數值較小的項,簡化了計算過程,同時保持了較高的精度。
列聚集處理單元:利用激活矩陣的列稀疏性,提高面積效率1.47倍。通過將稀疏列和稠密列分開處理,優化了硬件資源利用。
計算強度自適應數據流架構:動態分配資源,提升計算效率1.76倍。通過路由控制器,根據不同算子的計算強度動態調整資源分配,提高硬件利用率。
5. 實驗結果:顯著的加速比和面積效率提升
實驗結果顯示,與NVIDIA A100 GPU和現有最先進加速器相比,ViDA分別實現了平均16.44倍/2.18倍的加速比和18.39倍/2.35倍的面積效率提升。這表明ViDA能夠有效降低視頻生成模型對計算資源的消耗。
6. 結論:推動AI視頻生成技術產業化落地
ViDA的成功,為AI視頻生成模型的推理加速提供了有效的解決方案,有望顯著降低計算成本和時間成本,推動AI視頻生成技術更快、更廣泛地應用于內容創作、虛擬現實等產業。
聯系作者
文章來源:機器之心
作者微信:
作者簡介:專業的人工智能媒體和產業服務平臺