僅用250美元，Hugging Face技術(shù)主管手把手教你微調(diào)Llama 3

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：僅用250美元，Hugging Face技術(shù)主管手把手教你微調(diào)Llama 3
關(guān)鍵字：模型,數(shù)據(jù),內(nèi)存,作者,樣本
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：17202字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：趙陽大語言模型的微調(diào)一直是說起來容易做起來難的事兒。近日 Hugging Face 技術(shù)主管 Philipp Schmid 發(fā)表了一篇博客，詳細(xì)講解了如何利用 Hugging Face 上的庫(kù)和 fsdp 以及 Q-Lora 對(duì)大模型進(jìn)行微調(diào)。我們知道，Meta 推出的 Llama 3、Mistral AI 推出的 Mistral 和 Mixtral 模型以及 AI21 實(shí)驗(yàn)室推出的 Jamba 等開源大語言模型已經(jīng)成為 OpenAI 的競(jìng)爭(zhēng)對(duì)手。
不過，大多數(shù)情況下，使用者需要根據(jù)自己的數(shù)據(jù)對(duì)這些開源模型進(jìn)行微調(diào)，才能充分釋放模型的潛力。
雖然在單個(gè) GPU 上使用 Q-Lora 對(duì)較小的大語言模型（如 Mistral）進(jìn)行微調(diào)不是難事，但對(duì)像 Llama 3 70b 或 Mixtral 這樣的大模型的高效微調(diào)直到現(xiàn)在仍是一個(gè)難題。
因此，Hugging Face 技術(shù)主管 Philipp Schmid 介紹了如何使用 PyTorch FSDP 和 Q-Lora，并在 Hugging Face 的 TRL、Transformers、peft 和 datasets

原文鏈接：僅用250美元，Hugging Face技術(shù)主管手把手教你微調(diào)Llama 3

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)