AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：總結(jié)374篇相關(guān)工作，陶大程團(tuán)隊(duì)聯(lián)合港大、UMD發(fā)布LLM知識(shí)蒸餾最新綜述
關(guān)鍵字：模型,知識(shí),教師,語言,數(shù)據(jù)
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：8253字

內(nèi)容摘要：

機(jī)器之心專欄
機(jī)器之心編輯部大語言模型（Large Language Models, LLMs）在過去兩年內(nèi)迅速發(fā)展，涌現(xiàn)出一些現(xiàn)象級(jí)的模型和產(chǎn)品，如 GPT-4、Gemini、Claude 等，但大多數(shù)是閉源的。研究界目前能接觸到的大部分開源 LLMs 與閉源 LLMs 存在較大差距，因此提升開源 LLMs 及其他小模型的能力以減小其與閉源大模型的差距成為了該領(lǐng)域的研究熱點(diǎn)。
LLM 的強(qiáng)大能力，特別是閉源 LLM，使得科研人員和工業(yè)界的從業(yè)者在訓(xùn)練自己的模型時(shí)都會(huì)利用到這些大模型的輸出和知識(shí)。這一過程本質(zhì)上是知識(shí)蒸餾（Knowledge, Distillation, KD）的過程，即從教師模型（如 GPT-4）中蒸餾知識(shí)到較小的模型（如 Llama）中，顯著提升了小模型的能力。可以看出，大語言模型的知識(shí)蒸餾技術(shù)無處不在，且對(duì)于研究人員來說是一種性價(jià)比高、有效的方法，有助于訓(xùn)練和提升自己的模型。
那么，當(dāng)前的工作如何利用閉源 LLM 進(jìn)行知識(shí)蒸餾和獲取數(shù)據(jù)？如何有效地將這些知識(shí)訓(xùn)練到小模型中？小模型能夠獲取教師模型的哪些強(qiáng)大技能？在具有領(lǐng)域特點(diǎn)的工業(yè)界，LLM 的知識(shí)蒸餾如何發(fā)揮作用

原文鏈接：總結(jié)374篇相關(guān)工作，陶大程團(tuán)隊(duì)聯(lián)合港大、UMD發(fā)布LLM知識(shí)蒸餾最新綜述

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)