ProX（Programming Every Example）是一個(gè)創(chuàng)新框架，旨在提升大型語言模型預(yù)訓(xùn)練數(shù)據(jù)的質(zhì)量。與傳統(tǒng)方法依賴人類專家制定規(guī)則不同，ProX將數(shù)據(jù)清洗視作編程挑戰(zhàn)，支持模型自動(dòng)執(zhí)行細(xì)粒度的數(shù)據(jù)處理，如字符串標(biāo)準(zhǔn)化和噪聲行去除。實(shí)驗(yàn)表明，經(jīng)過ProX處理的數(shù)據(jù)在模型預(yù)訓(xùn)練中能夠?qū)崿F(xiàn)超過2%的性能提升，且小型模型（如0.3B參數(shù)）也能達(dá)到與人類專家相當(dāng)?shù)臄?shù)據(jù)處理效果。此外，ProX在不同模型規(guī)模及預(yù)訓(xùn)練語料上具有廣泛適用性，尤其在特定領(lǐng)域（如數(shù)學(xué)）的持續(xù)預(yù)訓(xùn)練中，能顯著提升模型的表現(xiàn)，同時(shí)節(jié)省計(jì)算資源，為高效預(yù)訓(xùn)練大型語言模型提供了可行的解決方案。

ProX是什么

ProX（Programming Every Example）是一個(gè)致力于提升大型語言模型預(yù)訓(xùn)練數(shù)據(jù)質(zhì)量的先進(jìn)框架。它不同于傳統(tǒng)方法，ProX將數(shù)據(jù)清洗任務(wù)轉(zhuǎn)化為編程問題，允許模型自動(dòng)執(zhí)行一系列精細(xì)的操作，如字符串標(biāo)準(zhǔn)化及噪聲行移除。實(shí)驗(yàn)結(jié)果顯示，使用ProX處理過的數(shù)據(jù)進(jìn)行模型預(yù)訓(xùn)練，可以在多個(gè)下游任務(wù)中實(shí)現(xiàn)超過2%的性能提升。其顯著優(yōu)勢還在于，對不同模型規(guī)模和預(yù)訓(xùn)練語料庫的廣泛適應(yīng)性，特別是在特定領(lǐng)域（如數(shù)學(xué)）的持續(xù)預(yù)訓(xùn)練中，能夠顯著提升模型性能而無需特定領(lǐng)域設(shè)計(jì)。此外，ProX通過節(jié)省訓(xùn)練所需的FLOPs，為高效的預(yù)訓(xùn)練大型語言模型提供了新的可能路徑。

ProX的主要功能

• 數(shù)據(jù)精煉： ProX通過生成和執(zhí)行程序來精煉大規(guī)模數(shù)據(jù)集，提高數(shù)據(jù)質(zhì)量，以用于大型語言模型的預(yù)訓(xùn)練。
• 自動(dòng)化處理： ProX自動(dòng)執(zhí)行每個(gè)數(shù)據(jù)樣本的細(xì)粒度清洗和改進(jìn)，減少對人工專家的依賴。
• 性能提升： 使用ProX處理的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的模型，在多項(xiàng)下游任務(wù)中表現(xiàn)出超過2%的性能提升。
• 領(lǐng)域靈活性： ProX可以應(yīng)用于多個(gè)領(lǐng)域，包括數(shù)學(xué)等，提升準(zhǔn)確性而無需特別的領(lǐng)域設(shè)計(jì)。
• 資源節(jié)省： 相較于基于大型語言模型的數(shù)據(jù)合成方法，ProX在保持結(jié)果質(zhì)量的同時(shí)顯著減少計(jì)算資源的需求。

ProX的技術(shù)原理

• 模型適應(yīng)性： ProX首先在種子數(shù)據(jù)上微調(diào)小型基礎(chǔ)語言模型，以適應(yīng)數(shù)據(jù)精煉任務(wù)。
• 程序生成： 經(jīng)過適應(yīng)的模型為預(yù)訓(xùn)練語料庫中的每個(gè)樣本生成數(shù)據(jù)處理程序，該程序包括過濾、字符串標(biāo)準(zhǔn)化和噪聲行去除等操作。
• 程序執(zhí)行： 生成的程序由預(yù)定義的執(zhí)行器運(yùn)行，最終產(chǎn)生適合預(yù)訓(xùn)練的精煉語料庫。
• 兩階段精煉： ProX包括文檔級編程和塊級編程兩個(gè)階段，分別進(jìn)行粗粒度和細(xì)粒度的數(shù)據(jù)精煉。
• 功能調(diào)用： ProX通過靈活的功能調(diào)用來增強(qiáng)數(shù)據(jù)質(zhì)量，統(tǒng)一特定的轉(zhuǎn)換或清洗過程。
• 計(jì)算效率： ProX展示了如何在較少的預(yù)訓(xùn)練計(jì)算FLOPs下，通過投入額外計(jì)算資源精煉預(yù)訓(xùn)練語料庫，實(shí)現(xiàn)更高效的預(yù)訓(xùn)練。

ProX項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：gair-nlp.github.io/ProX
• GitHub倉庫：https://github.com/GAIR-NLP/ProX
• HuggingFace模型庫：https://huggingface.co/gair-prox
• arXiv技術(shù)論文：https://arxiv.org/pdf/2409.17115

ProX的應(yīng)用場景

• 大型語言模型預(yù)訓(xùn)練：ProX能夠提升大量高質(zhì)量文本數(shù)據(jù)的質(zhì)量，從而用于大型語言模型的預(yù)訓(xùn)練。
• 數(shù)據(jù)清洗和預(yù)處理：在數(shù)據(jù)挖掘、自然語言處理及其他機(jī)器學(xué)習(xí)任務(wù)中，ProX自動(dòng)執(zhí)行數(shù)據(jù)清洗和預(yù)處理步驟，減少人工干預(yù)。
• 領(lǐng)域適應(yīng)性訓(xùn)練：對于醫(yī)療、法律或金融等特定領(lǐng)域的應(yīng)用，ProX能夠優(yōu)化數(shù)據(jù)集，使其更好地適應(yīng)專業(yè)術(shù)語和語境。
• 持續(xù)學(xué)習(xí)：在持續(xù)學(xué)習(xí)或增量學(xué)習(xí)的場景中，ProX幫助模型不斷精煉數(shù)據(jù)，以適應(yīng)新信息和變化。
• 數(shù)據(jù)合成：ProX能夠生成高質(zhì)量的合成數(shù)據(jù)，增強(qiáng)現(xiàn)有數(shù)據(jù)集，尤其適用于數(shù)據(jù)稀缺的領(lǐng)域。

常見問題

• ProX如何提升數(shù)據(jù)質(zhì)量？
  ProX通過編程生成和執(zhí)行數(shù)據(jù)處理程序，自動(dòng)進(jìn)行細(xì)粒度的清洗和改進(jìn)，顯著提高數(shù)據(jù)集的整體質(zhì)量。
• ProX適用于哪些領(lǐng)域？
  ProX具有廣泛的適應(yīng)性，適用于多個(gè)領(lǐng)域，包括但不限于數(shù)學(xué)、醫(yī)療、法律和金融等。
• 使用ProX是否需要專業(yè)知識？
  不需要，ProX旨在自動(dòng)化數(shù)據(jù)處理，減少對人工專家的依賴，使用戶能夠輕松應(yīng)用。
• ProX的性能提升有多大？
  經(jīng)過ProX處理的數(shù)據(jù)用于模型預(yù)訓(xùn)練時(shí)，通常能在多個(gè)下游任務(wù)中實(shí)現(xiàn)超過2%的性能提升。
• ProX如何節(jié)省計(jì)算資源？
  ProX通過有效的數(shù)據(jù)精煉過程，在保持結(jié)果質(zhì)量的前提下，顯著減少預(yù)訓(xùn)練時(shí)所需的計(jì)算資源。