讓CPU跑大模型該怎么做？阿里云交出答卷：AI推理速度飆升7倍

AIGC動態歡迎閱讀

原標題：讓CPU跑大模型該怎么做？阿里云交出答卷：AI推理速度飆升7倍
關鍵字：阿里,英特爾,模型,性能,實例
文章來源：智東西
內容字數：5640字

內容摘要：

阿里云ECS g8i整機性能最高提升85%，可支撐720億參數規模的大語言模型。
作者|程茜
編輯|漠影
AI應用落地加速，對推理的性能提出了更加苛刻的要求。
就在上周，阿里云重磅升級了第八代企業級通用計算實例ECS g8i，國內首款搭載英特爾第五代至強可擴展處理器Emerald Rapids的實例。相比上一代，g8i整機性能最高提升85%，AI推理性能最高提升7倍，可支撐720億參數規模的大語言模型，幫助中小規模模型起建成本降低50%。
阿里云ECS g8i的發布證明，為AI大模型提供算力的不只有GPU和AI芯片，基于CPU的通用算力正在打破過去業界的固有認知。
釘釘聯合國際知名咨詢機構IDC預測，隨著AIGC技術發展，智能化應用將呈現爆發式井噴，2024年全球將出現5億個新應用，不同應用對算力的需求將是多樣化的，這一背景下，業內開始探索CPU算力在AI推理的潛力。
在阿里云第八代企業級通用計算實例ECS g8i發布之際，智東西與阿里云彈性計算產品線副總經理王志坤、阿里云彈性計算高級產品專家姬少晨進行了深入交流，深度探討CPU算力在AI推理方面的獨特優勢，以及面臨大量AI創新應用的涌

原文鏈接：讓CPU跑大模型該怎么做？阿里云交出答卷：AI推理速度飆升7倍

聯系作者

文章來源：智東西
作者微信：zhidxcom
作者簡介：智能產業新媒體！智東西專注報道人工智能主導的前沿技術發展，和技術應用帶來的千行百業產業升級。聚焦智能變革，服務產業升級。