大模型合成數(shù)據(jù)機理分析，人大劉勇團隊：信息增益影響泛化能力

AIGC動態(tài)歡迎閱讀

原標題：大模型合成數(shù)據(jù)機理分析，人大劉勇團隊：信息增益影響泛化能力
關(guān)鍵字：數(shù)據(jù),模型,過程,增益,上界
文章來源：機器之心
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

AIxiv專欄是機器之心發(fā)布學術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進了學術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com在大語言模型（LLMs）后訓練任務(wù)中，由于高質(zhì)量的特定領(lǐng)域數(shù)據(jù)十分稀缺，合成數(shù)據(jù)已成為重要資源。雖然已有多種方法被用于生成合成數(shù)據(jù)，但合成數(shù)據(jù)的理論理解仍存在缺口。為了解決這一問題，本文首先對當前流行的合成數(shù)據(jù)生成過程進行了數(shù)學建模。在此基礎(chǔ)上，本文證明了后訓練模型的泛化能力關(guān)鍵取決于生成模型帶來的信息增益，并從一個新的反向瓶頸視角進行了分析。此外，本文引入了互信息泛化增益（GGMI）的概念，闡明了泛化增益與信息增益之間的關(guān)系。我們希望為合成數(shù)據(jù)的應(yīng)用提供理論基礎(chǔ)，進而為合成數(shù)據(jù)生成技術(shù)的設(shè)計與后訓練過程的優(yōu)化提供新的理解。
It’s not the form of data, but the information it brings that truly

原文鏈接：大模型合成數(shù)據(jù)機理分析，人大劉勇團隊：信息增益影響泛化能力