傳統(tǒng)RAG系統(tǒng)的高資源需求和部署門檻一直是行業(yè)痛點。

原標題：港大最新研究成果：MiniRAG，「迷你版」RAG 小模型端側可用
文章來源：AI科技評論
內(nèi)容字數(shù)：6059字

MiniRAG：賦能小型模型的檢索增強生成框架

香港大學黃超教授團隊開發(fā)的MiniRAG框架，為解決傳統(tǒng)檢索增強生成（RAG）系統(tǒng)的高資源需求和部署門檻難題提供了創(chuàng)新方案。MiniRAG通過輕量級架構設計，使僅有1.5B參數(shù)的小型語言模型也能達到接近GPT-4mini的RAG任務性能，大幅降低了算力需求，并為端側RAG系統(tǒng)部署提供了可能性。

1. MiniRAG的必要性：現(xiàn)有RAG系統(tǒng)的局限性

傳統(tǒng)RAG系統(tǒng)依賴大型語言模型（LLMs），資源消耗巨大，難以在端側設備部署。小型語言模型（SLMs）在現(xiàn)有RAG框架下的性能表現(xiàn)不佳，尤其在查詢理解、多步推理等方面存在瓶頸。此外，數(shù)據(jù)隱私保護的日益重要也增加了對端側RAG系統(tǒng)的需求。

2. MiniRAG的核心設計：輕量級架構創(chuàng)新

MiniRAG的核心在于其兩大創(chuàng)新組件：語義感知異構圖索引和輕量級圖式知識檢索。

1. 語義感知異構圖索引：融合文本塊和命名實體，構建層次化語義網(wǎng)絡，提高檢索準確度，并彌補小型模型在文本概括方面的不足。

2. 輕量級知識檢索：采用圖式知識檢索機制，結合語義感知異構圖和輕量級文本嵌入，在簡化解析流程和拓撲增強檢索策略下，降低對模型性能的要求，適合端側設備運行。

同時，MiniRAG團隊推出了LiHua-World數(shù)據(jù)集，模擬真實端側場景，為輕量級RAG系統(tǒng)提供全面的評估工具。

3. 實驗評估與分析：MiniRAG的性能優(yōu)勢

實驗結果表明，現(xiàn)有RAG系統(tǒng)在遷移至小型模型時性能大幅下降，而MiniRAG的性能損失顯著控制，展現(xiàn)出優(yōu)異的模型適應性。MiniRAG在存儲效率方面也取得了突破，僅需25%的存儲空間即可達到與LightRAG相當?shù)男阅堋Ｏ趯嶒炦M一步驗證了MiniRAG各組件的有效性，特別是異構圖索引和查詢引導推理路徑發(fā)現(xiàn)機制對提升性能的關鍵作用。

一個復雜的餐廳識別案例研究也展示了MiniRAG在處理多約束查詢和克服小型模型局限性方面的優(yōu)勢。

4. 未來研究方向

未來的研究方向包括：增強小型語言模型的能力、擴展應用場景、優(yōu)化隱私保護機制。

5. 總結

MiniRAG為端側RAG系統(tǒng)提供了全新的解決方案，其輕量級架構、創(chuàng)新的索引和檢索機制，突破了傳統(tǒng)RAG系統(tǒng)的高資源需求瓶頸，為端側知識檢索與生成開辟了新的可能性，并有望推動RAG技術在端側設備上的普及與應用。

聯(lián)系作者

文章來源：AI科技評論
作者微信：
作者簡介：雷峰網(wǎng)旗下AI新媒體。聚焦AI前沿研究，關注AI工程落地。