RAG-FiT – 英特爾實驗室推出用于開發、增強大模型的開源RAG框架

RAG-FiT是什么

RAG-FiT（前稱RAG Foundry）是英特爾實驗室推出的開源框架，旨在通過微調（fine-tuning）來提升大型語言模型（LLMs）在檢索增強生成（RAG）任務中的表現。該框架采用模塊化設計，涵蓋數據創建、訓練、推理和評估四大核心功能模塊。RAG-FiT的目標是幫助用戶快速構建適用于RAG任務的數據集，運用參數高效微調（PEFT）技術優化模型，并通過多種RAG特定的評估指標來衡量模型表現。憑借其卓越的靈活性和擴展性，RAG-FiT支持從數據選擇、過濾到檢索和提示生成等一系列RAG應用，適用于問答系統、文本生成等多種場景。

RAG-FiT的主要功能

• 數據創建與處理：
  • 數據加載：可從Hugging Face Hub或本地源獲取數據集。
  • 數據預處理：涵蓋數據過濾、歸一化、聚合、信息檢索、模板化提示生成等處理步驟。
  • 數據保存：處理后的數據以一致性格式保存，便于后續的訓練與推理使用。
  • 靈活的處理流程：支持全局和局部操作，提供靈活的數據處理選擇。
• 訓練：
  • 參數高效微調（PEFT）：采用LoRA等技術進行高效微調。
  • 訓練配置：支持自定義的學習率、優化器及批量大小等訓練參數設置。
  • 模型推送：訓練完成后，模型可便捷推送至Hugging Face Hub。
• 推理：
  • 生成預測：基于處理過的數據集生成預測結果。
  • 批量推理：支持對多個輸入進行批量處理，提升運算效率。
• 評估：
  • 多維度評估：支持多種評估指標，如EM、F1、ROUGE、BERTScore等。
  • 自定義評估：用戶可輕松實現個性化評估指標。
  • 全局與局部評估：支持對單個樣本及整個數據集進行評估。

RAG-FiT的技術原理

• 檢索增強：
  • 檢索機制：通過檢索工具從外部知識庫中獲取與輸入問題相關的上下文信息，支持多種檢索系統（如Haystack、Qdrant）。
  • 上下文注入：將檢索到的上下文信息整合到LLMs的輸入中，從而幫助模型更好地理解問題背景，生成更準確的回答。
• 模塊化設計：
  • 數據處理模塊：負責數據的加載、預處理和保存，支持多種數據源。
  • 訓練模塊：利用PEFT技術對模型進行微調，支持LoRA等高效訓練方式，訓練后的模型可保存或推送到Hugging Face Hub。
  • 推理模塊：在處理后的數據集上生成預測結果，并支持批量推理。
  • 評估模塊：提供豐富的評估指標，支持對生成結果的全面評估。
• 配置驅動的工作流：
  • Hydra配置工具：使用Hydra配置工具實現層次化配置，方便通過命令行覆蓋配置值，適合遠程作業運行。
  • 配置文件：每個模塊都有默認配置文件，用戶可基于此文件或命令行參數自定義工作流。
• 實驗與評估：
  • 實驗環境：提供一個全面的實驗環境，支持快速原型開發以及多種RAG技術的實驗。
  • 多維度評估：評估模塊不僅能夠評估生成結果的準確性，還能評判檢索結果的相關性和生成內容的忠實性與相關性。

RAG-FiT的項目地址

• 項目官網：https://intellabs.github.io/RAG-FiT/
• GitHub倉庫：https://github.com/IntelLabs/RAG-FiT
• arXiv技術論文：https://arxiv.org/pdf/2408.02545

RAG-FiT的應用場景

• 問答系統：通過檢索外部知識庫來增強語言模型，為用戶提供準確且相關的答案，尤其在醫學、法律等領域表現突出。
• 文本生成：結合最新的背景信息生成高質量文本，如新聞報道和創意寫作，提升內容的準確性和時效性。
• 知識圖譜增強：從知識圖譜中檢索實體和關系，生成與圖譜一致的文本，從而提高知識表示的準確性和可解釋性。
• 多語言生成：跨語言檢索知識庫以生成多語言文本，滿足多語言環境下的內容生成需求。
• 文檔摘要：檢索文檔中的關鍵信息以生成摘要，提高摘要的準確性和信息覆蓋率，適用于科研和商業領域。