萬字綜述：全面梳理 FP8 訓(xùn)練和推理技術(shù)

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：萬字綜述：全面梳理 FP8 訓(xùn)練和推理技術(shù)
關(guān)鍵字：精度,作者,模型,表示,尾數(shù)
文章來源：智猩猩AGI
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

大模型時(shí)代最火AI芯片峰會(huì)來啦！！9月6-7日，由智猩猩聯(lián)合主辦的2024全球AI芯片峰會(huì)將在北京舉行。峰會(huì)設(shè)有數(shù)據(jù)中心AI芯片、智算集群技術(shù)論壇等7大板塊。目前，清華大學(xué)教授、集成電路學(xué)院副院長(zhǎng)尹首一 ，AMD人工智能事業(yè)部高級(jí)總監(jiān)王宏強(qiáng)，高通AI產(chǎn)品技術(shù)中國(guó)區(qū)負(fù)責(zé)人萬衛(wèi)星，摩爾線程高級(jí)產(chǎn)品總監(jiān)付海良波等30+位嘉賓已確認(rèn)參會(huì)。掃名～01背景隨著 ChatGPT 的橫空出世，LLM/AIGC 領(lǐng)域迎來空前的關(guān)注，各類大模型如雨后春筍般出現(xiàn)，科技公司對(duì) AI 算力的需求也呈爆發(fā)式增長(zhǎng)。在這樣的背景下，如何在有限資源內(nèi)提升模型訓(xùn)練和推理效率成為研究的熱點(diǎn)。而在眾多的方向中
FP8 逐漸成為研究熱點(diǎn)，F(xiàn)P8 的應(yīng)用落地也是一個(gè)極具潛力的方向。
FP8 的重要性日益凸顯，很大程度上得益于 NVIDIA Hopper 架構(gòu)和 Ada Lovelace 架構(gòu)對(duì) FP8 的硬件支持。最新發(fā)布的 Blackwell 架構(gòu)更是進(jìn)一步拓展了低精度范圍，支持了 FP6 和 FP4 格式。
業(yè)界對(duì) FP8 的支持也在不斷深入，我們也一直在關(guān)注業(yè)內(nèi)對(duì) FP8 的支持情況。比如各種推理框架（如 vLLM、T

原文鏈接：萬字綜述：全面梳理 FP8 訓(xùn)練和推理技術(shù)

聯(lián)系作者

文章來源：智猩猩AGI
作者微信：
作者簡(jiǎn)介：