RAG微調Llama 3竟超越GPT-4！英偉達GaTech華人學者提出RankRAG框架

AIGC動態歡迎閱讀

原標題：RAG微調Llama 3竟超越GPT-4！英偉達GaTech華人學者提出RankRAG框架
關鍵字：數據,模型,報告,上下文,性能
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：喬揚好困
【新智元導讀】來自佐治亞理工學院和英偉達的兩名華人學者帶隊提出了名為RankRAG的微調框架，簡化了原本需要多個模型的復雜的RAG流水線，用微調的方法交給同一個LLM完成，結果同時實現了模型在RAG任務上的性能提升。在需要大量事實知識的文本生成任務中，RAG成為了常用的LLM部署技巧。
但佐治亞理工學院和英偉達最近發表的一篇論文提出——RAG可以不止停留在用于推理的pipeline中，類似的思路完全可以移植到微調階段，于是有了這個名為RankRAG的框架。
論文地址：https://arxiv.org/abs/2407.02485
他們的思路可以概括為：用微調拓展模型的能力，把原來RAG需要額外模型的檢索、排名任務全丟回給LLM自己。
結果發現，不僅數據效率提高了，模型性能也有顯著增強，相比今年5月剛提出的ChatQA-1.5系列有顯著優勢。
在9個通用基準和5個生物醫學的知識密集型基準上，RankRAG用Llama 3 8B/70B微調出的模型分別超過了同樣基座上ChatQA-1.5的兩個微調模型，Llama3-ChatQA-1.5-8B和Llama3-C

原文鏈接：RAG微調Llama 3竟超越GPT-4！英偉達GaTech華人學者提出RankRAG框架

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。