RAG-FiT

RAG-FiT – 英特爾實驗室推出用于開發、增強大模型的開源RAG框架

RAG-FiT是什么

RAG-FiT（前稱RAG Foundry）是英特爾實驗室推出的開源框架，旨在通過微調（fine-tuning）來提升大型語言模型（LLMs）在檢索增強生成（RAG）任務中的表現。該框架采用模塊化設計，涵蓋數據創建、訓練、推理和評估四大核心功能模塊。RAG-FiT的目標是幫助用戶快速構建適用于RAG任務的數據集，運用參數高效微調（PEFT）技術優化模型，并通過多種RAG特定的評估指標來衡量模型表現。憑借其卓越的靈活性和擴展性，RAG-FiT支持從數據選擇、過濾到檢索和提示生成等一系列RAG應用，適用于問答系統、文本生成等多種場景。

RAG-FiT

RAG-FiT的主要功能

數據創建與處理：
- 數據加載：可從Hugging Face Hub或本地源獲取數據集。
- 數據預處理：涵蓋數據過濾、歸一化、聚合、信息檢索、模板化提示生成等處理步驟。
- 數據保存：處理后的數據以一致性格式保存，便于后續的訓練與推理使用。
- 靈活的處理流程：支持全局和局部操作，提供靈活的數據處理選擇。
訓練：
- 參數高效微調（PEFT）：采用LoRA等技術進行高效微調。
- 訓練配置：支持自定義的學習率、優化器及批量大小等訓練參數設置。
- 模型推送：訓練完成后，模型可便捷推送至Hugging Face Hub。
推理：
- 生成預測：基于處理過的數據集生成預測結果。
- 批量推理：支持對多個輸入進行批量處理，提升運算效率。
評估：
- 多維度評估：支持多種評估指標，如EM、F1、ROUGE、BERTScore等。
- 自定義評估：用戶可輕松實現個性化評估指標。
- 全局與局部評估：支持對單個樣本及整個數據集進行評估。

RAG-FiT的技術原理

檢索增強：
- 檢索機制：通過檢索工具從外部知識庫中獲取與輸入問題相關的上下文信息，支持多種檢索系統（如Haystack、Qdrant）。
- 上下文注入：將檢索到的上下文信息整合到LLMs的輸入中，從而幫助模型更好地理解問題背景，生成更準確的回答。
模塊化設計：
- 數據處理模塊：負責數據的加載、預處理和保存，支持多種數據源。
- 訓練模塊：利用PEFT技術對模型進行微調，支持LoRA等高效訓練方式，訓練后的模型可保存或推送到Hugging Face Hub。
- 推理模塊：在處理后的數據集上生成預測結果，并支持批量推理。
- 評估模塊：提供豐富的評估指標，支持對生成結果的全面評估。
配置驅動的工作流：
- Hydra配置工具：使用Hydra配置工具實現層次化配置，方便通過命令行覆蓋配置值，適合遠程作業運行。
- 配置文件：每個模塊都有默認配置文件，用戶可基于此文件或命令行參數自定義工作流。
實驗與評估：
- 實驗環境：提供一個全面的實驗環境，支持快速原型開發以及多種RAG技術的實驗。
- 多維度評估：評估模塊不僅能夠評估生成結果的準確性，還能評判檢索結果的相關性和生成內容的忠實性與相關性。