AIGC動態(tài)歡迎閱讀

原標(biāo)題：Llama2-7B升級為Pro版本！騰訊提出「塊擴(kuò)展」訓(xùn)練法，效果全面提升
關(guān)鍵字：模型,騰訊,方法,領(lǐng)域,初始化
文章來源：夕小瑤科技說
內(nèi)容字?jǐn)?shù)：4491字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | 付奶茶、python大語言模型在編程、數(shù)學(xué)、生物醫(yī)學(xué)和金融等專業(yè)領(lǐng)域性能不佳，通過特定領(lǐng)域后訓(xùn)練可在降低資源消耗的同時提升性能。但是，后訓(xùn)練可能導(dǎo)致災(zāi)難性遺忘，從而削弱模型原有的通用處理能力，限制了其在多元任務(wù)上的應(yīng)用。
騰訊最近發(fā)表的一篇研究論文介紹了一種通過復(fù)制Transformer塊并用特定領(lǐng)域的數(shù)據(jù)對新塊進(jìn)行微調(diào)來擴(kuò)展原始LLM的方法，生成LLaMA Pro-8.3B，初始化自LLaMA2-7B。這種方法使得模型在保持其通用能力的同時，能夠有效融合新的知識。
論文標(biāo)題:
LLAMA PRO: Progressive LLaMA with Block Expansion
論文鏈接:
https://arxiv.org/pdf/2401.02415.pdf
github代碼:
https://github.com/TencentARC/LLaMA-Pro
塊擴(kuò)展方法本文提出了一種稱為“塊擴(kuò)展”的簡潔而有效的后訓(xùn)練方法。該方法通過復(fù)制現(xiàn)有預(yù)訓(xùn)練大語言模型（LLM）中的Transformer塊來增強(qiáng)模型的能力。新添加的塊中的線性層被初始化為零，以實現(xiàn)恒等映射

原文鏈接：Llama2-7B升級為Pro版本！騰訊提出「塊擴(kuò)展」訓(xùn)練法，效果全面提升

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI應(yīng)用開發(fā)者、算法工程師和研究人員。一線作者均來自清北、國外頂級AI實驗室和互聯(lián)網(wǎng)大廠，兼?zhèn)涿襟wsense與技術(shù)深度。