萬字綜述：全面梳理 FP8 訓練和推理技術(shù)

AIGC動態(tài)歡迎閱讀

原標題：萬字綜述：全面梳理 FP8 訓練和推理技術(shù)
關鍵字：精度,作者,模型,表示,尾數(shù)
文章來源：智猩猩AGI
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

大模型時代最火AI芯片峰會來啦！！9月6-7日，由智猩猩聯(lián)合主辦的2024全球AI芯片峰會將在北京舉行。峰會設有數(shù)據(jù)中心AI芯片、智算集群技術(shù)論壇等7大板塊。目前，清華大學教授、集成電路學院副院長尹首一，AMD人工智能事業(yè)部高級總監(jiān)王宏強，高通AI產(chǎn)品技術(shù)中國區(qū)負責人萬衛(wèi)星，摩爾線程高級產(chǎn)品總監(jiān)付海良波等30+位嘉賓已確認參會。掃名～01背景隨著 ChatGPT 的橫空出世，LLM/AIGC 領域迎來空前的關注，各類大模型如雨后春筍般出現(xiàn)，科技公司對 AI 算力的需求也呈爆發(fā)式增長。在這樣的背景下，如何在有限資源內(nèi)提升模型訓練和推理效率成為研究的熱點。而在眾多的方向中
FP8 逐漸成為研究熱點，F(xiàn)P8 的應用落地也是一個極具潛力的方向。
FP8 的重要性日益凸顯，很大程度上得益于 NVIDIA Hopper 架構(gòu)和 Ada Lovelace 架構(gòu)對 FP8 的硬件支持。最新發(fā)布的 Blackwell 架構(gòu)更是進一步拓展了低精度范圍，支持了 FP6 和 FP4 格式。
業(yè)界對 FP8 的支持也在不斷深入，我們也一直在關注業(yè)內(nèi)對 FP8 的支持情況。比如各種推理框架（如 vLLM、T

原文鏈接：萬字綜述：全面梳理 FP8 訓練和推理技術(shù)