AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：不是大模型全局微調(diào)不起，只是LoRA更有性價(jià)比，教程已經(jīng)準(zhǔn)備好了

關(guān)鍵字：模型,權(quán)重,參數(shù),矩陣,內(nèi)存

文章來(lái)源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：15621字

內(nèi)容摘要：選自 Sebastian Raschka 博客機(jī)器之心編譯編輯：佳琪這是作者 Sebastian Raschka 經(jīng)過(guò)數(shù)百次實(shí)驗(yàn)得出的經(jīng)驗(yàn)，值得一讀。增加數(shù)據(jù)量和模型的參數(shù)量是公認(rèn)的提升神經(jīng)網(wǎng)絡(luò)性能最直接的方法。目前主流的大模型的參數(shù)量已擴(kuò)展至千億級(jí)別，「大模型」越來(lái)越大的趨勢(shì)還將愈演愈烈。這種趨勢(shì)帶來(lái)了多方面的算力挑戰(zhàn)。想要微調(diào)參數(shù)量達(dá)千億級(jí)別的大語(yǔ)言模型，不僅訓(xùn)練時(shí)間長(zhǎng)，還需占用大量高性能的內(nèi)存資源。為了讓大模型微調(diào)的成本「打下來(lái)」，微軟的研究人員開(kāi)發(fā)了低秩自適應(yīng)（LoRA）技術(shù)。LoRA 的精妙之處在于，它相當(dāng)于在原有大模型的基礎(chǔ)上增加了一個(gè)可拆卸的插件，模型主體保持不變。LoRA 隨插隨用，輕巧方便。對(duì)于高效微調(diào)出一個(gè)定制版的大語(yǔ)言模型來(lái)說(shuō)，LoRA 是最為廣泛運(yùn)用的方法之一，同時(shí)也是最有效的方法之一。如果你對(duì)開(kāi)源 LLM 感興趣，LoRA 是值得學(xué)習(xí)的基本技術(shù)，不容錯(cuò)過(guò)。來(lái)自威斯…

原文鏈接：點(diǎn)此閱讀原文：不是大模型全局微調(diào)不起，只是LoRA更有性價(jià)比，教程已經(jīng)準(zhǔn)備好了

聯(lián)系作者

文章來(lái)源：機(jī)器之心

作者微信：almosthuman2014

作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)