AIGC動態歡迎閱讀

原標題：萬字綜述：全面梳理 FP8 訓練和推理技術
關鍵字：精度,作者,模型,表示,尾數
文章來源：智猩猩AGI
內容字數：0字

內容摘要：

大模型時代最火AI芯片峰會來啦！！9月6-7日，由智猩猩聯合主辦的2024全球AI芯片峰會將在北京舉行。峰會設有數據中心AI芯片、智算集群技術論壇等7大板塊。目前，清華大學教授、集成電路學院副院長尹首一 ，AMD人工智能事業部高級總監王宏強，高通AI產品技術中國區負責人萬衛星，摩爾線程高級產品總監付海良波等30+位嘉賓已確認參會。掃名～01背景隨著 ChatGPT 的橫空出世，LLM/AIGC 領域迎來空前的關注，各類大模型如雨后春筍般出現，科技公司對 AI 算力的需求也呈爆發式增長。在這樣的背景下，如何在有限資源內提升模型訓練和推理效率成為研究的熱點。而在眾多的方向中
FP8 逐漸成為研究熱點，FP8 的應用落地也是一個極具潛力的方向。
FP8 的重要性日益凸顯，很大程度上得益于 NVIDIA Hopper 架構和 Ada Lovelace 架構對 FP8 的硬件支持。最新發布的 Blackwell 架構更是進一步拓展了低精度范圍，支持了 FP6 和 FP4 格式。
業界對 FP8 的支持也在不斷深入，我們也一直在關注業內對 FP8 的支持情況。比如各種推理框架（如 vLLM、T

原文鏈接：萬字綜述：全面梳理 FP8 訓練和推理技術

聯系作者

文章來源：智猩猩AGI
作者微信：
作者簡介：