無問芯穹夏立雪：目標將大模型算力成本壓縮四個數量級，為算力市場帶來增量

AIGC動態歡迎閱讀

原標題：無問芯穹夏立雪：目標將大模型算力成本壓縮四個數量級，為算力市場帶來增量
關鍵字：模型,芯片,騰訊,中間層,機器
文章來源：機器之心
內容字數：15188字

內容摘要：

機器之心原創
作者：姜菁玲算力不足仍然是制約通用人工智能發展的重要因素。GPU Utils 今年 8 月的一份數據顯示，全球目前 H100 等效算力的供給缺口達到 43 萬張。在解決算力不足的問題上，除了搶購和囤積英偉達，更多的方案正在浮出水面。
清華系創業公司無問芯穹，是這個賽道上的一個答題者。
不久前，機器之心介紹了來自無問芯穹（Infinigence AI）、清華大學和上海交通大學的聯合團隊所提出的一種新方法 FlashDecoding++。這項工作不僅能將 GPU 推理提速 2-4 倍，還能同時支持 NVIDIA 和 AMD 的 GPU。相較于 FlashDecoding，這項工作在 NVIDIA A100 實現了推理平均加速 37% ，在 AMD MI210 上實現 300%+ 的性能提升。
基于這項工作，無問芯穹所研發的 Infini-ACC 大模型計算優化引擎通過對模型、系統以及硬件層面的系統優化，能夠推動實現大模型推理速度提升 10 倍，模型存儲空間降低 10 倍，部署時間降至小時級。
無問芯穹依托計算加速的核心優勢，幫助現有的算力方提高算力性能與性價比。并在核心優勢基

原文鏈接：無問芯穹夏立雪：目標將大模型算力成本壓縮四個數量級，為算力市場帶來增量

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺