少用33％數(shù)據(jù)，模型性能不變，陳丹琦團(tuán)隊(duì)用元數(shù)據(jù)來做降本增效

引入U(xiǎn)RL信息的預(yù)訓(xùn)練方法。

原標(biāo)題：少用33％數(shù)據(jù)，模型性能不變，陳丹琦團(tuán)隊(duì)用元數(shù)據(jù)來做降本增效
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：5819字

普林斯頓大學(xué)陳丹琦團(tuán)隊(duì)新作：MeCo方法加速預(yù)訓(xùn)練語言模型

普林斯頓大學(xué)計(jì)算機(jī)科學(xué)系助理教授陳丹琦團(tuán)隊(duì)最新論文提出了一種名為MeCo（Metadata Conditioning then Cooldown）的預(yù)訓(xùn)練方法，該方法通過利用文檔元數(shù)據(jù)（例如URL）來顯著提高語言模型的數(shù)據(jù)效率，同時(shí)幾乎不會(huì)增加計(jì)算開銷。

1. MeCo方法的核心思想

傳統(tǒng)語言模型將所有訓(xùn)練數(shù)據(jù)視為同等重要，忽略了數(shù)據(jù)來源的上下文信息。MeCo方法則在每個(gè)文檔前添加其元數(shù)據(jù)（例如URL），從而為模型提供額外的上下文信息。在預(yù)訓(xùn)練的最后10%，MeCo采用“冷卻”（cooldown）階段，停止使用元數(shù)據(jù)，確保模型在推理階段無論是否有元數(shù)據(jù)都能正常工作。

2. MeCo方法的優(yōu)勢(shì)

MeCo方法具有以下幾個(gè)顯著優(yōu)勢(shì)：

1. 顯著提升數(shù)據(jù)效率：實(shí)驗(yàn)表明，MeCo能夠使1.6B參數(shù)的模型在使用減少33%的訓(xùn)練數(shù)據(jù)情況下，達(dá)到與標(biāo)準(zhǔn)預(yù)訓(xùn)練模型相同的下游任務(wù)性能。這種優(yōu)勢(shì)在不同模型規(guī)模(600M、1.6B、3B、8B)和數(shù)據(jù)源(C4、RefinedWeb、DCLM)上都得到了驗(yàn)證。

2. 提供模型行為引導(dǎo)：在推理階段，通過在提示前添加合適的真實(shí)或合成URL，可以引導(dǎo)模型產(chǎn)生期望的行為。例如，使用“factquizmaster.com”可以提升常識(shí)推理性能，而使用“wikipedia.org”可以降低模型生成有害內(nèi)容的可能性。

3. 兼容多種元數(shù)據(jù)：MeCo方法兼容多種類型的元數(shù)據(jù)，例如散列URL和模型生成的主題，其核心作用在于根據(jù)來源對(duì)文檔進(jìn)行分組。

4. 幾乎不增加計(jì)算開銷：MeCo方法在提升數(shù)據(jù)效率的同時(shí)，幾乎不會(huì)增加預(yù)訓(xùn)練的計(jì)算開銷和復(fù)雜性。

3. MeCo方法的訓(xùn)練階段

MeCo方法包含兩個(gè)訓(xùn)練階段：

1. 元數(shù)據(jù)條件預(yù)訓(xùn)練 (前90%): 模型在元數(shù)據(jù)和文檔的拼接序列上進(jìn)行訓(xùn)練，例如“URL: en.wikipedia.org\n\n [document]”。損失函數(shù)僅計(jì)算文檔token的交叉熵?fù)p失。

2. 冷卻階段 (后10%): 使用不含元數(shù)據(jù)的標(biāo)準(zhǔn)預(yù)訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，確保模型在無元數(shù)據(jù)情況下也能正常工作。該階段繼承了上一階段的學(xué)習(xí)率計(jì)劃和優(yōu)化器狀態(tài)。

4. 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，MeCo方法在各種模型規(guī)模、數(shù)據(jù)源和下游任務(wù)上都取得了顯著的性能提升。MeCo在數(shù)據(jù)量減少的情況下，依然能夠達(dá)到與標(biāo)準(zhǔn)預(yù)訓(xùn)練方法相當(dāng)?shù)男阅?，體現(xiàn)了其優(yōu)越的數(shù)據(jù)效率。

5. 結(jié)論

MeCo是一種簡單、靈活且高效的預(yù)訓(xùn)練方法，它能夠同時(shí)提高語言模型的數(shù)據(jù)效率、可控性和實(shí)用性，為構(gòu)建更強(qiáng)大和可控的語言模型提供了新的思路。其兼容多種元數(shù)據(jù)的特性也值得進(jìn)一步探索。

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)