利用公開知識定向提升大模型，騰訊優(yōu)圖&上交大提出新方法，性能達SOTA

AIGC動態(tài)歡迎閱讀

原標題：利用公開知識定向提升大模型，騰訊優(yōu)圖&上交大提出新方法，性能達SOTA
關(guān)鍵字：模型,數(shù)據(jù),任務(wù),騰訊,性能
文章來源：量子位
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

優(yōu)圖實驗室投稿量子位 | 公眾號 QbitAI告別傳統(tǒng)指令微調(diào)，大模型特定任務(wù)性能提升有新方法了。
一種新型開源增強知識框架，可以從公開數(shù)據(jù)中自動提取相關(guān)知識，針對性提升任務(wù)性能。
與基線和SOTA方法對比，本文方法在各項任務(wù)上均取得了更好的性能。
該方法由上海交通大學(xué)和騰訊優(yōu)圖實驗室共同提出。
研究背景近年來，LLMs 在眾多任務(wù)和領(lǐng)域取得了顯著發(fā)展，但為了在實際業(yè)務(wù)場景發(fā)揮模型的專業(yè)能力，通常需要在領(lǐng)域特定或任務(wù)特定的數(shù)據(jù)上進行指令微調(diào)。傳統(tǒng)的指令微調(diào)往往需要大量的有標注數(shù)據(jù)和計算資源，對于實際業(yè)務(wù)場景這是很難獲得的。
另一方面，開源社區(qū)提供了大量的微調(diào)模型和指令數(shù)據(jù)集。這些開源知識的存在使得在特定任務(wù)上LLM在特定領(lǐng)域上的適配和應(yīng)用成為了可能。但是，使用開源的各類SFT模型以及任務(wù)相關(guān)的數(shù)據(jù)集時，仍有以下關(guān)鍵問題需要解決：
少量有標注樣本場景下，直接對模型微調(diào)或進行in-context-learning的效果往往不能滿足需求，如何利用這些少量的樣本和海量的外部知識（開源世界的模型，數(shù)據(jù)）對目前已有的知識進行補充，提升模型的任務(wù)能力和泛化性能？
開源社區(qū)中有大量微調(diào)且對齊的模型和

原文鏈接：利用公開知識定向提升大模型，騰訊優(yōu)圖&上交大提出新方法，性能達SOTA