LLama+Mistral+…+Yi=? 免訓(xùn)練異構(gòu)大模型集成學(xué)習(xí)框架DeePEn來了

AIGC動態(tài)歡迎閱讀

原標(biāo)題：LLama+Mistral+…+Yi=? 免訓(xùn)練異構(gòu)大模型集成學(xué)習(xí)框架DeePEn來了
關(guān)鍵字：模型,表示,性能,詞表,矩陣
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收報(bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報(bào)道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文的主要作者為黃毅翀。黃毅翀是哈爾濱工業(yè)大學(xué)社會計(jì)算與信息檢索研究中心博士生，鵬城實(shí)驗(yàn)室實(shí)習(xí)生，師從秦兵教授和馮驍騁教授。研究方向包括大語言模型集成學(xué)習(xí)、多語言大模型，相關(guān)論文發(fā)表于自然語言處理頂級會議 ACL、EMNLP、COLING。隨著大語言模型展現(xiàn)出驚人的語言智能，各大 AI 公司紛紛推出自己的大模型。這些大模型通常在不同領(lǐng)域和任務(wù)上各有所長，如何將它們集成起來以挖掘其互補(bǔ)潛力，成為了 AI 研究的前沿課題。
近期，哈工大和鵬城實(shí)驗(yàn)室的研究人員提出了「Training-free 的異構(gòu)大模型集成學(xué)習(xí)框架」DeePEn。
不同于以往方法訓(xùn)練外部模塊來篩選、融合多個(gè)模型生成的回復(fù)，DeePEn 在解碼過程中融合多個(gè)模型輸出的概率分布，聯(lián)合決定每一步的輸出

原文鏈接：LLama+Mistral+…+Yi=? 免訓(xùn)練異構(gòu)大模型集成學(xué)習(xí)框架DeePEn來了