總結(jié)374篇相關(guān)工作,陶大程團(tuán)隊(duì)聯(lián)合港大、UMD發(fā)布LLM知識(shí)蒸餾最新綜述

AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:總結(jié)374篇相關(guān)工作,陶大程團(tuán)隊(duì)聯(lián)合港大、UMD發(fā)布LLM知識(shí)蒸餾最新綜述
關(guān)鍵字:模型,知識(shí),教師,語言,數(shù)據(jù)
文章來源:機(jī)器之心
內(nèi)容字?jǐn)?shù):8253字
內(nèi)容摘要:
機(jī)器之心專欄
機(jī)器之心編輯部大語言模型(Large Language Models, LLMs)在過去兩年內(nèi)迅速發(fā)展,涌現(xiàn)出一些現(xiàn)象級(jí)的模型和產(chǎn)品,如 GPT-4、Gemini、Claude 等,但大多數(shù)是閉源的。研究界目前能接觸到的大部分開源 LLMs 與閉源 LLMs 存在較大差距,因此提升開源 LLMs 及其他小模型的能力以減小其與閉源大模型的差距成為了該領(lǐng)域的研究熱點(diǎn)。
LLM 的強(qiáng)大能力,特別是閉源 LLM,使得科研人員和工業(yè)界的從業(yè)者在訓(xùn)練自己的模型時(shí)都會(huì)利用到這些大模型的輸出和知識(shí)。這一過程本質(zhì)上是知識(shí)蒸餾(Knowledge, Distillation, KD)的過程,即從教師模型(如 GPT-4)中蒸餾知識(shí)到較小的模型(如 Llama)中,顯著提升了小模型的能力。可以看出,大語言模型的知識(shí)蒸餾技術(shù)無處不在,且對(duì)于研究人員來說是一種性價(jià)比高、有效的方法,有助于訓(xùn)練和提升自己的模型。
那么,當(dāng)前的工作如何利用閉源 LLM 進(jìn)行知識(shí)蒸餾和獲取數(shù)據(jù)?如何有效地將這些知識(shí)訓(xùn)練到小模型中?小模型能夠獲取教師模型的哪些強(qiáng)大技能?在具有領(lǐng)域特點(diǎn)的工業(yè)界,LLM 的知識(shí)蒸餾如何發(fā)揮作用
原文鏈接:總結(jié)374篇相關(guān)工作,陶大程團(tuán)隊(duì)聯(lián)合港大、UMD發(fā)布LLM知識(shí)蒸餾最新綜述
聯(lián)系作者
文章來源:機(jī)器之心
作者微信:almosthuman2014
作者簡(jiǎn)介:專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)

粵公網(wǎng)安備 44011502001135號(hào)