英偉達Blackwell稱霸MLPerf！推理性能暴漲30倍，新一代「AI怪獸」誕生

AIGC動態歡迎閱讀

原標題：英偉達Blackwell稱霸MLPerf！推理性能暴漲30倍，新一代「AI怪獸」誕生
關鍵字：模型,性能,芯片,測試,基準
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：喬楊 好困
【新智元導讀】MLPerf Inference發布了最新測試結果，英偉達最新的Blackwell架構芯片上場與谷歌、AMD同場競技，展現出明顯的性能提升，甚至刷新了部分任務上的測試紀錄。大語言模型（LLM）推理是一個全棧挑戰。
為了實現高吞吐量、低延遲的性能，不僅需要強大的GPU，還需要高帶寬的芯片互連技術、高效的加速庫以及高度優化的推理引擎。
就在剛剛，MLCommons發布了基準測試套件MLPerf Inference v4.1的最新測試結果，此次發布涵蓋了專家混合（MoE）模型架構的首次評測結果，展示了與推理功耗相關的新發現。
MLCommons在最新的AI基準測試中添加了MoE模型
MLPerf是一個流行且得到廣泛認可的測試套件，以架構中立、具有代表性和可重復的方式提供機器學習系統的性能基準測試，每年更新兩次
本輪測試的參賽者如下：
AMD MI300x加速器（已上市）
AMD EPYC 「Turin」 CPU（預覽版）
Google 「Trillium」 TPUv6e加速器（預覽版）
Intel 「Granite Rapids」 Xeon CPU

原文鏈接：英偉達Blackwell稱霸MLPerf！推理性能暴漲30倍，新一代「AI怪獸」誕生

聯系作者

文章來源：新智元
作者微信：
作者簡介：