基于世界知識(shí)樹(shù)打造高質(zhì)量對(duì)話數(shù)據(jù)

原標(biāo)題：20K合成數(shù)據(jù)就能讓大模型能力飆升！還能實(shí)現(xiàn)模型自我迭代，上海AI Lab數(shù)據(jù)合成新范式
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：3951字

上海AI Lab提出Condor：基于合成數(shù)據(jù)提升LLM對(duì)話能力

本文總結(jié)了上海AI Lab研究團(tuán)隊(duì)提出的Condor數(shù)據(jù)合成引擎，該引擎利用合成數(shù)據(jù)顯著提升了大型語(yǔ)言模型（LLM）Qwen的主觀對(duì)話能力。Condor通過(guò)“世界知識(shí)樹(shù)”和“自我反思”機(jī)制，高效生成高質(zhì)量的監(jiān)督微調(diào)（SFT）數(shù)據(jù)，并展現(xiàn)出模型性能與數(shù)據(jù)量正相關(guān)的特性，尤其在20K數(shù)據(jù)量級(jí)下取得了顯著效果，之后增益趨于平緩。此項(xiàng)研究為L(zhǎng)LM數(shù)據(jù)合成提供了新的范式。

1. Condor數(shù)據(jù)合成引擎：世界知識(shí)樹(shù)與自我反思

Condor數(shù)據(jù)合成引擎包含兩個(gè)階段：Condor Void和Condor Refine。它巧妙地利用單一LLM完成問(wèn)題合成、回復(fù)合成、回復(fù)評(píng)價(jià)和回復(fù)改進(jìn)等多個(gè)角色。核心機(jī)制在于：

1. 世界知識(shí)樹(shù)：Condor通過(guò)給定關(guān)鍵詞，讓模型遞歸生成子關(guān)鍵詞，形成知識(shí)樹(shù)。每個(gè)節(jié)點(diǎn)作為T(mén)ag，用于指導(dǎo)后續(xù)數(shù)據(jù)生成，確保指令的多樣性和知識(shí)覆蓋范圍。
2. 任務(wù)多樣性和難度多樣性：Condor設(shè)計(jì)不同問(wèn)題模板，生成不同類(lèi)型（日常、角色扮演、創(chuàng)意創(chuàng)作等）和不同難度的問(wèn)題，提升合成指令的多樣性。
3. 自我反思：Condor Refine Pipeline引入自我反思策略，模型對(duì)初始回復(fù)進(jìn)行評(píng)價(jià)和修改，迭代優(yōu)化回復(fù)質(zhì)量，最終生成高質(zhì)量SFT數(shù)據(jù)。

2. 實(shí)驗(yàn)結(jié)果：顯著提升主觀對(duì)話能力

研究人員使用Qwen2.5-72B-Instruct模型進(jìn)行數(shù)據(jù)合成，并用Qwen2.5-7B模型進(jìn)行SFT訓(xùn)練。實(shí)驗(yàn)結(jié)果表明：使用Condor合成數(shù)據(jù)訓(xùn)練的模型在主觀對(duì)話能力上與Qwen2.5-7B-Instruct具有競(jìng)爭(zhēng)力，并在主流客觀評(píng)測(cè)基準(zhǔn)上保持了性能，顯著優(yōu)于其他基線方法。 更重要的是，實(shí)驗(yàn)驗(yàn)證了模型性能隨著合成數(shù)據(jù)量增加而提升，在5K到20K數(shù)據(jù)量區(qū)間提升顯著，之后增益放緩。

3. 模型自我迭代與性能分析

研究團(tuán)隊(duì)還驗(yàn)證了Condor合成數(shù)據(jù)在模型自我迭代中的作用。使用Condor生成的數(shù)據(jù)訓(xùn)練7B和72B的基模型，均實(shí)現(xiàn)了自我迭代，性能進(jìn)一步提升。通過(guò)對(duì)主觀評(píng)測(cè)集按能力維度拆解，發(fā)現(xiàn)Condor在Creation、QA和Chat維度上的增益尤為顯著。對(duì)比分析顯示，Condor合成的數(shù)據(jù)與其他方法相比，能夠?qū)崿F(xiàn)更廣泛的知識(shí)覆蓋，并提升模型回復(fù)的擬人化程度和細(xì)節(jié)。

4. 結(jié)論與展望

Condor數(shù)據(jù)合成引擎為L(zhǎng)LM的訓(xùn)練提供了高效、高質(zhì)量的數(shù)據(jù)生成方案，成功提升了模型的主觀對(duì)話能力。 然而，高質(zhì)量推理數(shù)據(jù)和多輪對(duì)話數(shù)據(jù)的有效合成策略、真實(shí)數(shù)據(jù)和合成數(shù)據(jù)的協(xié)作配比機(jī)制，以及如何突破合成數(shù)據(jù)的Scaling Law等問(wèn)題，仍有待進(jìn)一步研究。Condor的合成數(shù)據(jù)和訓(xùn)練后的模型已開(kāi)源，方便社區(qū)用戶(hù)進(jìn)行體驗(yàn)和探索。

聯(lián)系作者

文章來(lái)源：量子位
作者微信：
作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破