英偉達Blackwell稱霸MLPerf！推理性能暴漲30倍，新一代「AI怪獸」誕生

AIGC動態(tài)歡迎閱讀

原標題：英偉達Blackwell稱霸MLPerf！推理性能暴漲30倍，新一代「AI怪獸」誕生
關鍵字：模型,性能,芯片,測試,基準
文章來源：新智元
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

新智元報道編輯：喬楊好困
【新智元導讀】MLPerf Inference發(fā)布了最新測試結(jié)果，英偉達最新的Blackwell架構(gòu)芯片上場與谷歌、AMD同場競技，展現(xiàn)出明顯的性能提升，甚至刷新了部分任務上的測試紀錄。大語言模型（LLM）推理是一個全棧挑戰(zhàn)。
為了實現(xiàn)高吞吐量、低延遲的性能，不僅需要強大的GPU，還需要高帶寬的芯片互連技術、高效的加速庫以及高度優(yōu)化的推理引擎。
就在剛剛，MLCommons發(fā)布了基準測試套件MLPerf Inference v4.1的最新測試結(jié)果，此次發(fā)布涵蓋了專家混合（MoE）模型架構(gòu)的首次評測結(jié)果，展示了與推理功耗相關的新發(fā)現(xiàn)。
MLCommons在最新的AI基準測試中添加了MoE模型
MLPerf是一個流行且得到廣泛認可的測試套件，以架構(gòu)中立、具有代表性和可重復的方式提供機器學習系統(tǒng)的性能基準測試，每年更新兩次
本輪測試的參賽者如下：
AMD MI300x加速器（已上市）
AMD EPYC 「Turin」 CPU（預覽版）
Google 「Trillium」 TPUv6e加速器（預覽版）
Intel 「Granite Rapids」 Xeon CPU

原文鏈接：英偉達Blackwell稱霸MLPerf！推理性能暴漲30倍，新一代「AI怪獸」誕生