北航&ZGCLAB 提出首個檢索增強生成基準測試工具庫 XRAG

XRAG為RAG各策略與多種評測指標提供簡單的配置方法，只需點點點就可以評測啦！

原標題：北航&ZGCLAB 提出首個檢索增強生成基準測試工具庫 XRAG
文章來源：AI前線
內容字數：10153字

XRAG: 全面評測與優化檢索增強生成

本文介紹了由ZGCLAB與北航提出的XRAG (eXamining the Core — Benchmarking Foundational Components in Advanced Retrieval-Augmented Generation)系統，這是一個用于全面評測和優化檢索增強生成 (RAG) 的工具包。XRAG 1.0版本已開源，并提供簡單的WebUI演示。

1. XRAG 的四大核心功能

XRAG具備四大核心功能，使其在RAG研究領域具有顯著優勢：

1. 模塊化RAG過程：XRAG將RAG流程模塊化，分為查詢重寫、高級檢索、后處理和問答生成四個部分，方便優化和定制。
2. 統一基準數據集：XRAG標準化了HotpotQA、DropQA和NaturalQA三個數據集，簡化了不同RAG系統間的比較評估。
3. 全面的測試方法：XRAG整合了50多個指標，涵蓋傳統檢索評估、傳統生成評估和基于LLM指令判別的評估，實現多維度評估。
4. 識別和優化RAG故障點：XRAG提供了一套失敗點診斷方法，并提出針對性優化策略，例如否定拒絕、排名混淆、答案缺失、噪聲影響和復雜推理等問題的解決方案。

2. 模塊化RAG過程詳解

XRAG的模塊化設計允許靈活選擇和組合不同的組件，例如在查詢重寫模塊中，支持SBPT、HyDE和CoVe等方法；在高級檢索模塊中，支持向量檢索、LexicalBM25、RRFusion、HiParser、StParser和RecuChunk等方法。

3. 統一的數據格式與數據集

XRAG定義了統一的數據集結構，方便性能測試。目前支持HotpotQA、DropQA和NaturalQA三個數據集，并支持用戶上傳自定義數據 (JSON格式)。這三個數據集各有特點：HotpotQA需要多文檔推理；DropQA需要離散推理；NaturalQA包含真實用戶搜索問題。

4. 全面的測試指標體系

XRAG整合了Jury、UpTrain、DeepEval和LlamaIndex中的指標，總計超過50個，涵蓋字符級和語義級、檢索和生成性能四個維度，支持一次性評估各種RAG指標，并進行標準化評估。

5. 實驗結果與結論

實驗結果顯示，不同數據集上的檢索性能存在顯著差異，DropQA數據集難度最大。基礎RAG系統在NaturalQA數據集上表現穩健，但在HotpotQA和DropQA數據集上，優化LLM的查詢理解和推理能力具有潛力。LLM Agent評估顯示，即使是基礎RAG系統也表現出色，但存在LLM API調用失敗的問題。

6. RAG系統故障點檢測與優化

XRAG識別并優化了多個RAG故障點，包括：否定拒絕(通過提示工程和兩步推理優化)、排名混淆(通過重排序和混合檢索優化)、答案缺失(通過不同的文檔塊處理方法優化)、噪聲影響(通過重排序優化)和復雜推理(通過問題重寫優化)。實驗驗證了這些優化策略的有效性。

7. 總結

XRAG提供了一個全面、模塊化和可擴展的RAG評測和優化框架，為RAG研究和應用提供了寶貴的工具。其模塊化設計、統一數據集和全面的測試指標體系，以及對RAG故障點的深入分析和優化策略，使其成為推動RAG技術發展的重要貢獻。

聯系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例，助你全面擁抱AIGC。