ProX

ProX（Programming Every Example）是一個創新框架，旨在提升大型語言模型預訓練數據的質量。與傳統方法依賴人類專家制定規則不同，ProX將數據清洗視作編程挑戰，支持模型自動執行細粒度的數據處理，如字符串標準化和噪聲行去除。實驗表明，經過ProX處理的數據在模型預訓練中能夠實現超過2%的性能提升，且小型模型（如0.3B參數）也能達到與人類專家相當的數據處理效果。此外，ProX在不同模型規模及預訓練語料上具有廣泛適用性，尤其在特定領域（如數學）的持續預訓練中，能顯著提升模型的表現，同時節省計算資源，為高效預訓練大型語言模型提供了可行的解決方案。

ProX是什么

ProX（Programming Every Example）是一個致力于提升大型語言模型預訓練數據質量的先進框架。它不同于傳統方法，ProX將數據清洗任務轉化為編程問題，允許模型自動執行一系列精細的操作，如字符串標準化及噪聲行移除。實驗結果顯示，使用ProX處理過的數據進行模型預訓練，可以在多個下游任務中實現超過2%的性能提升。其顯著優勢還在于，對不同模型規模和預訓練語料庫的廣泛適應性，特別是在特定領域（如數學）的持續預訓練中，能夠顯著提升模型性能而無需特定領域設計。此外，ProX通過節省訓練所需的FLOPs，為高效的預訓練大型語言模型提供了新的可能路徑。

ProX的主要功能

• 數據精煉： ProX通過生成和執行程序來精煉大規模數據集，提高數據質量，以用于大型語言模型的預訓練。
• 自動化處理： ProX自動執行每個數據樣本的細粒度清洗和改進，減少對人工專家的依賴。
• 性能提升： 使用ProX處理的數據進行預訓練的模型，在多項下游任務中表現出超過2%的性能提升。
• 領域靈活性： ProX可以應用于多個領域，包括數學等，提升準確性而無需特別的領域設計。
• 資源節省： 相較于基于大型語言模型的數據合成方法，ProX在保持結果質量的同時顯著減少計算資源的需求。

ProX的技術原理

• 模型適應性： ProX首先在種子數據上微調小型基礎語言模型，以適應數據精煉任務。
• 程序生成： 經過適應的模型為預訓練語料庫中的每個樣本生成數據處理程序，該程序包括過濾、字符串標準化和噪聲行去除等操作。
• 程序執行： 生成的程序由預定義的執行器運行，最終產生適合預訓練的精煉語料庫。
• 兩階段精煉： ProX包括文檔級編程和塊級編程兩個階段，分別進行粗粒度和細粒度的數據精煉。
• 功能調用： ProX通過靈活的功能調用來增強數據質量，統一特定的轉換或清洗過程。
• 計算效率： ProX展示了如何在較少的預訓練計算FLOPs下，通過投入額外計算資源精煉預訓練語料庫，實現更高效的預訓練。

ProX項目地址

• 項目官網：gair-nlp.github.io/ProX
• GitHub倉庫：https://github.com/GAIR-NLP/ProX
• HuggingFace模型庫：https://huggingface.co/gair-prox
• arXiv技術論文：https://arxiv.org/pdf/2409.17115

ProX的應用場景

• 大型語言模型預訓練：ProX能夠提升大量高質量文本數據的質量，從而用于大型語言模型的預訓練。
• 數據清洗和預處理：在數據挖掘、自然語言處理及其他機器學習任務中，ProX自動執行數據清洗和預處理步驟，減少人工干預。
• 領域適應性訓練：對于醫療、法律或金融等特定領域的應用，ProX能夠優化數據集，使其更好地適應專業術語和語境。
• 持續學習：在持續學習或增量學習的場景中，ProX幫助模型不斷精煉數據，以適應新信息和變化。
• 數據合成：ProX能夠生成高質量的合成數據，增強現有數據集，尤其適用于數據稀缺的領域。

常見問題

• ProX如何提升數據質量？
  ProX通過編程生成和執行數據處理程序，自動進行細粒度的清洗和改進，顯著提高數據集的整體質量。
• ProX適用于哪些領域？
  ProX具有廣泛的適應性，適用于多個領域，包括但不限于數學、醫療、法律和金融等。
• 使用ProX是否需要專業知識？
  不需要，ProX旨在自動化數據處理，減少對人工專家的依賴，使用戶能夠輕松應用。
• ProX的性能提升有多大？
  經過ProX處理的數據用于模型預訓練時，通常能在多個下游任務中實現超過2%的性能提升。
• ProX如何節省計算資源？
  ProX通過有效的數據精煉過程，在保持結果質量的前提下，顯著減少預訓練時所需的計算資源。