終于等到你！港大首發「輕量級RAG神器」MiniRAG，1.5B手機端可用

原標題：終于等到你！港大首發「輕量級RAG神器」MiniRAG，1.5B手機端可用
文章來源：新智元
內容字數：6730字

MiniRAG：輕量級檢索增強生成框架，賦能端側AI

本文總結了香港大學黃超教授團隊提出的MiniRAG框架，該框架旨在解決傳統檢索增強生成(RAG)系統在端側部署中面臨的龐大體積和高性能門檻問題。MiniRAG通過優化架構設計，使1.5B級別的小型語言模型(SLM)也能高效完成RAG任務，為端側AI應用提供了更多可能性。

1. 傳統RAG系統的局限性

傳統RAG系統通常依賴大型語言模型(LLM)，但在端側部署中，LLM的高資源消耗和隱私風險成為主要障礙。小型語言模型雖然資源占用更低，但在復雜語義理解、多步推理等方面存在局限，導致其在RAG任務中的性能顯著下降。

2. MiniRAG的核心創新

MiniRAG針對SLM的局限性，提出了兩項核心創新：

1. 語義感知異構圖索引：該機制將文本塊和命名實體整合到一個層次化的語義網絡中，包含實體節點和文本塊節點兩種核心節點。這種雙層結構確保了檢索結果的相關性和準確性，并有效避免了SLM在文本總結能力上的不足。
2. 輕量級基于圖的知識檢索：該機制結合語義感知異構圖和輕量級文本嵌入，包含查詢語義映射和拓撲增強檢索兩個核心設計。它利用SLM在實體提取方面的優勢，將用戶查詢高效映射到圖索引結構中，并采用兩階段檢索策略，提高檢索精度和效率。

3. LiHua-World數據集

為了更好地評估MiniRAG，研究團隊創建了LiHua-World數據集，該數據集模擬了虛擬用戶“李華”一年的日常通訊記錄，涵蓋了單跳查詢、多跳推理和信息總結等多種類型的端側RAG應用場景。

4. 實驗結果與分析

實驗結果顯示，在將LLM替換為SLM后，其他RAG系統（如LightRAG和GraphRAG）性能大幅下降甚至失效。而MiniRAG展現出優秀的穩定性，性能降幅最小僅為0.79%，最大也僅為21.26%。更重要的是，MiniRAG僅使用了約1/4的存儲空間。

消融實驗進一步驗證了MiniRAG核心組件的有效性。去除異構圖索引或關鍵檢索模塊都會導致性能顯著下降，這證明了MiniRAG設計理念的合理性和有效性。

一個復雜的餐廳識別案例研究也展示了MiniRAG在處理多約束查詢和克服SLM局限性方面的優勢。

5. 結論

MiniRAG成功突破了SLM在傳統RAG框架中的應用瓶頸，在保證性能的同時顯著降低了對模型能力和存儲空間的依賴，為端側RAG應用提供了新的可能性。LiHua-World數據集的發布也為端側RAG技術研究提供了重要的評估基準。

聯系作者

文章來源：新智元
作者微信：
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。