微調(diào)大模型，AMD MI300X就夠了！跟著這篇博客微調(diào)Llama 3.1 405B，效果媲美H100

AIGC動態(tài)歡迎閱讀

原標(biāo)題：微調(diào)大模型，AMD MI300X就夠了！跟著這篇博客微調(diào)Llama 3.1 405B，效果媲美H100
關(guān)鍵字：模型,參數(shù),硬件,顯存,設(shè)備
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

機(jī)器之心報(bào)道
機(jī)器之心編輯部隨著 AI 模型的參數(shù)量越來越大，對算力的需求也水漲船高。
比如最近，Llama-3.1 登上了最強(qiáng)開源大模型的寶座，但超大杯 405B 版本的內(nèi)存就高達(dá) 900 多 GB，這對算力構(gòu)成了更加苛刻的挑戰(zhàn)。
如何降低算力的使用成本和使用門檻，已經(jīng)成為許多公司尋求突破的關(guān)鍵。Felafax 就是其中的一家創(chuàng)業(yè)公司，致力于簡化 AI 訓(xùn)練集群的搭建流程。Nikhil Sonti 和 Nikhin Sonti 創(chuàng)立了 Felafax，他們的口號是在構(gòu)建開源 AI 平臺，為下一代 AI 硬件服務(wù)，將機(jī)器學(xué)習(xí)的訓(xùn)練成本降低 30%。
與英偉達(dá)相比，AMD 的 GPU，尤其是 MI300X 系列，提供了更高的性價比，按每美元計(jì)算，其性能表現(xiàn)更為出色。
最近，F(xiàn)elafax 的聯(lián)合創(chuàng)始人 Nikhil Sonti 發(fā)布了一篇博客，詳細(xì)分享了如何通過 8 張 AMD MI300X GPU 和 JAX 微調(diào) LLaMA 3.1 405B 模型的方法，所有代碼現(xiàn)已開源。Github 鏈接：https://github.com/felafax/felafax
機(jī)器之心對博客內(nèi)容進(jìn)行

原文鏈接：微調(diào)大模型，AMD MI300X就夠了！跟著這篇博客微調(diào)Llama 3.1 405B，效果媲美H100

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：
作者簡介：