DeepRAG

DeepRAG – 中科院、中科大和騰訊微信AI部聯合推出的新型檢索增強生成框架

DeepRAG是什么

DeepRAG是由中國科學院、中國科學技術大學及騰訊微信AI部合作開發的一種全新檢索增強生成（RAG）框架，旨在提升大型語言模型（LLMs）在推理和檢索任務上的表現。該框架通過將檢索增強推理視為馬爾可夫決策過程（MDP），引入“檢索敘事”和“原子決策”兩個關鍵元素，從而實現了結構化且自適應的檢索流程。DeepRAG的核心在于動態決策：模型在每個步驟會根據當前狀態判斷是否需要檢索外部知識，或僅依賴其內部參數進行推理。

DeepRAG

DeepRAG的主要功能

動態檢索決策：DeepRAG能夠在每一步動態決定是否檢索外部知識，或僅使用模型本身的知識進行推理，避免了不必要的檢索操作，從而提高了檢索效率，減少了噪聲和推理延遲。
結構化檢索流程：通過引入“檢索敘事”，DeepRAG確保檢索過程是有序且適應性的。模型根據先前檢索到的信息生成新的子查詢，逐步推進推理過程，更有效地處理復雜的查詢。
知識邊界校準：DeepRAG應用“校準鏈”方法，幫助模型更精準地識別自身知識的界限。模型能夠更好地判斷何時需要檢索外部信息，何時可以依靠自己的知識進行推理，從而提升答案的準確性和可靠性。
提升檢索效率和答案準確性：實驗結果顯示，DeepRAG在多個開放域問答數據集上顯著提高了答案的準確性（平均提升21.99%），同時減少了檢索次數，優化了整體檢索效率。
泛化能力與魯棒性：DeepRAG在時間敏感及分布外的問答任務中展現出優異的泛化能力和魯棒性，能夠適應不同的問答場景及數據分布。

DeepRAG的技術原理

馬爾可夫決策過程（MDP）建模：DeepRAG將檢索增強推理過程建模為MDP，表示原始問題的部分解決方案。狀態st包含輸入問題x及當前的子查詢和中間答案，決策分為兩個子項：
- 終止決策（Termination Decision）：決定是否生成下一個子查詢，或直接輸出最終答案。
- 原子決策（Atomic Decision）：決定是否進行外部檢索，或僅依賴模型的內部知識。
狀態轉移（Transitions）：根據所做的決策更新狀態。如果選擇檢索，模型會獲取相關文檔并生成中間答案；如果選擇不檢索，則直接生成中間答案。
獎勵機制（Rewards）：根據答案的正確性和檢索成本評估狀態。獎勵函數旨在最大化答案的準確性，同時最小化檢索成本。
二叉樹搜索（Binary Tree Search）：DeepRAG采用二叉樹搜索策略為每個子查詢構建推理路徑。在每個子查詢中，模型生成兩個分支：一個基于參數知識直接生成答案，另一個通過檢索外部知識生成答案。這種方式允許模型探索不同的檢索策略，構建從問題到最終答案的完整推理路徑。二叉樹搜索能夠分解問題，全面分析檢索選擇對最終答案的影響。
模仿學習（Imitation Learning）：模仿學習旨在讓模型掌握有效的檢索模式。通過優先隊列高效探索潛在的推理軌跡，優先選擇檢索成本較低的路徑。結合二叉樹搜索合成的數據，提取出達成正確最終答案的推理過程。利用這些合成數據對模型進行微調，提高其終止決策和原子決策的能力，同時增強查詢分解和可靠中間答案生成的能力。
校準鏈（Chain of Calibration）：校準鏈方法進一步優化模型對自身知識邊界的認識。通過合成偏好數據確定何時需要檢索，基于最優路徑生成，指示每個子查詢的首選檢索策略。利用這些偏好數據對模型進行微調，增強其基于內部知識邊界的原子決策能力。通過校準鏈，模型能更準確地判斷何時需要外部知識，從而依賴自身知識進行推理。