老黃給H100“打雞血”：英偉達推出大模型加速包，Llama2推理速度翻倍

AIGC動態歡迎閱讀

原標題：老黃給H100“打雞血”：英偉達推出大模型加速包，Llama2推理速度翻倍

關鍵字：模型,公告,速度,批處理,量子

文章來源：量子位

內容字數：3838字

內容摘要：克雷西 發自 凹非寺量子位 | 公眾號 QbitAI大模型的推理速度，僅僅一個月就提高了一倍！英偉達近日官宣給H100推出了“雞血包”——專用于LLM推理的加速程序。或許這下可以不用空等明年才能交付的GH200了。GPU的運算能力一直影響著大模型的表現，無論是硬件提供者還是使用者都希望能算得更快些。而作為大模型背后硬件的最大供應商，英偉達一直在研究怎么給大模型硬件加速。通過與多家AI公司合作，英偉…

原文鏈接：點此閱讀原文：老黃給H100“打雞血”：英偉達推出大模型加速包，Llama2推理速度翻倍

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破