小模型也能玩轉RAG！性能僅降1%，存儲省75%，邊緣設備輕松跑

RAG應用門檻降至1.5B參數規模

原標題：小模型也能玩轉RAG！性能僅降1%，存儲省75%，邊緣設備輕松跑
文章來源：量子位
內容字數：7229字

MiniRAG：輕量級檢索增強生成系統，突破端側AI應用瓶頸

近日，香港大學黃超教授團隊提出MiniRAG，一種輕量級的檢索增強生成（RAG）系統，成功將RAG技術的應用門檻降至1.5B參數規模，大幅降低了算力需求，為邊緣計算設備和注重隱私的應用帶來了新的可能性。

1. MiniRAG的核心突破

MiniRAG的核心在于其針對小型語言模型（SLMs）的優化設計。傳統RAG系統過度依賴大型語言模型，而MiniRAG充分利用SLMs在模式識別和局部文本處理上的優勢，并通過引入結構化信息和任務分解策略，彌補了SLMs在復雜認知任務上的不足。這使得MiniRAG能夠在資源受限的邊緣設備上高效運行，同時保證輸出質量。

2. 核心技術創新

MiniRAG的兩項核心技術創新是：異構圖索引和輕量級知識檢索。異構圖索引優化了信息組織結構，提升了檢索精確度；輕量級知識檢索確保了高效準確的信息獲取。MiniRAG還構建了一套全新的語義感知框架，將離散文本信息與結構化實體知識融為一體，實現檢索效率的顯著提升。

3. 輕量級知識檢索架構

MiniRAG的輕量級知識檢索架構包含兩個關鍵設計：查詢語義映射和拓撲增強檢索。查詢語義映射采用精簡的語義分析流程，快速提取關鍵信息；拓撲增強檢索則先快速定位核心信息點，再通過異質圖結構化關聯分析擴展相關內容，兼顧速度和準確性。

4. LiHua-World評測數據集

為了更準確地評估MiniRAG的實際表現，研究團隊開發了LiHua-World數據集。該數據集模擬了普通用戶在移動設備上的信息記錄，涵蓋了多種應用場景，為端側RAG技術的發展提供了可靠的實驗基準。

5. 性能評估結果

實驗結果顯示，MiniRAG在遷移至小型語言模型后，性能下降幅度遠小于其他主流RAG系統（LightRAG和GraphRAG）。MiniRAG在存儲空間方面也具有顯著優勢，僅需原有系統的25%。消融實驗進一步驗證了異構圖索引和輕量級檢索機制的有效性。

6. 實際案例分析

一個復雜的餐廳識別案例展示了MiniRAG在處理多維度信息檢索方面的出色表現。MiniRAG通過其獨特的查詢引導推理路徑發現機制，成功解決了小型語言模型在復雜查詢解析方面的局限性。

7. 結論

MiniRAG是一款輕量級、高效、注重隱私的檢索增強生成系統，為邊緣設備上的RAG應用開辟了新的道路。其在小型語言模型上的出色表現，以及LiHua-World數據集的發布，都為端側AI技術的發展做出了重要貢獻。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破