大模型訓練及推理經典必讀：FP8的what，why，how及其帶來的機會？

AIGC動態歡迎閱讀

原標題：大模型訓練及推理經典必讀：FP8的what，why，how及其帶來的機會？
關鍵字：精度,模型,解讀,侵權,性能
文章來源：智猩猩AGI
內容字數：0字

內容摘要：

生成式AI時代最火AI芯片峰會下月來襲！9月6-7日，智猩猩發起主辦的2024全球AI芯片峰會將在北京盛大舉行。峰會設有開幕式、數據中心AI芯片專場、邊緣/端側AI芯片專場、智算集群技術論壇等7大板塊。50+位AI芯片/Chiplet/RISC-V企業大咖將參與主題演講、高端對話和圓桌Panel。完整議程已公布。掃名或購票～文章轉載自公眾號：老劉說NLP，本文只做學術/技術分享，如有侵權，聯系刪文。
今天，我們來談談關于大模型訓練推理的話題，來講講NVIDIA提出的FP8。?????????
我們可以深刻感受到，在當前大模型大行其道的背景下，多種不同參數量的大語言模型呈現出井噴狀態，但其背后實際上與算力強相關，無論是大模型預訓練、SFT微調、PPO強化，還是在推理階段，都涉及到大規模的矩陣運算，且模型的大小和計算復雜性不斷增加，對硬件的性能和能效提出了極高要求，在特定算力情況下，如何選擇一套合適的精度表示，成為了大家關注的話題。
而與矩陣運算關系最為密切的，是精度的表示，常見的主要有浮點數精度，包括雙精度（FP64）、單精度（FP32、TF32）、半精度（FP16、BF16）、8位

原文鏈接：大模型訓練及推理經典必讀：FP8的what，why，how及其帶來的機會？

聯系作者

文章來源：智猩猩AGI
作者微信：
作者簡介：