引入URL信息的預訓練方法。

原標題：少用33％數據，模型性能不變，陳丹琦團隊用元數據來做降本增效
文章來源：機器之心
內容字數：5819字

普林斯頓大學陳丹琦團隊新作：MeCo方法加速預訓練語言模型

普林斯頓大學計算機科學系助理教授陳丹琦團隊最新論文提出了一種名為MeCo（Metadata Conditioning then Cooldown）的預訓練方法，該方法通過利用文檔元數據（例如URL）來顯著提高語言模型的數據效率，同時幾乎不會增加計算開銷。

1. MeCo方法的核心思想

傳統語言模型將所有訓練數據視為同等重要，忽略了數據來源的上下文信息。MeCo方法則在每個文檔前添加其元數據（例如URL），從而為模型提供額外的上下文信息。在預訓練的最后10%，MeCo采用“冷卻”（cooldown）階段，停止使用元數據，確保模型在推理階段無論是否有元數據都能正常工作。

2. MeCo方法的優勢

MeCo方法具有以下幾個顯著優勢：

1. 顯著提升數據效率：實驗表明，MeCo能夠使1.6B參數的模型在使用減少33%的訓練數據情況下，達到與標準預訓練模型相同的下游任務性能。這種優勢在不同模型規模(600M、1.6B、3B、8B)和數據源(C4、RefinedWeb、DCLM)上都得到了驗證。

2. 提供模型行為引導：在推理階段，通過在提示前添加合適的真實或合成URL，可以引導模型產生期望的行為。例如，使用“factquizmaster.com”可以提升常識推理性能，而使用“wikipedia.org”可以降低模型生成有害內容的可能性。

3. 兼容多種元數據：MeCo方法兼容多種類型的元數據，例如散列URL和模型生成的主題，其核心作用在于根據來源對文檔進行分組。

4. 幾乎不增加計算開銷：MeCo方法在提升數據效率的同時，幾乎不會增加預訓練的計算開銷和復雜性。

3. MeCo方法的訓練階段

MeCo方法包含兩個訓練階段：

1. 元數據條件預訓練 (前90%): 模型在元數據和文檔的拼接序列上進行訓練，例如“URL: en.wikipedia.org\n\n [document]”。損失函數僅計算文檔token的交叉熵損失。

2. 冷卻階段 (后10%): 使用不含元數據的標準預訓練數據進行訓練，確保模型在無元數據情況下也能正常工作。該階段繼承了上一階段的學習率計劃和優化器狀態。

4. 實驗結果

實驗結果表明，MeCo方法在各種模型規模、數據源和下游任務上都取得了顯著的性能提升。MeCo在數據量減少的情況下，依然能夠達到與標準預訓練方法相當的性能，體現了其優越的數據效率。

5. 結論

MeCo是一種簡單、靈活且高效的預訓練方法，它能夠同時提高語言模型的數據效率、可控性和實用性，為構建更強大和可控的語言模型提供了新的思路。其兼容多種元數據的特性也值得進一步探索。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺