強強聯合！當RAG遇到長上下文，滑鐵盧大學發布LongRAG，效果領先GPT-4 Turbo 50%

AIGC動態歡迎閱讀

原標題：強強聯合！當RAG遇到長上下文，滑鐵盧大學發布LongRAG，效果領先GPT-4 Turbo 50%
關鍵字：長上,單元,下文,閱讀器,上下文
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | Axe_越過猶不及——《論語·先進》
大學考試時，有些老師允許帶備cheet sheet（忘紙條）,上面記著關鍵公式和定義,幫助我們快速作答提高分數。傳統的檢索增強生成(RAG)方法也類似,試圖找出精準的知識片段來輔助大語言模型(LLM)。
但這種方法其實有問題。因為:
LLM沒有”老師劃重點”,需要自己在海量信息中尋找答案。
RAG是兩步走:先檢索,再生成。如果第一步檢索就出錯,再好的生成也難以彌補。
過分追求精準的知識片段,反而可能限制了模型的發揮空間。
所以,與其苛求檢索結果的精準性,不如給模型提供更豐富的上下文信息,讓它自己去理解和提煉關鍵知識。這樣可能效果會更好。
那有沒有可能讓LLM不要cheet sheet，直接參加“開卷考”呢？隨著現在長上下文技術（LongContext）日漸成熟，讓LLM干脆帶著“書”來回答問題開始成為可能。
滑鐵盧大學的研究者們就做了這么一個嘗試，拋開當前“長上下文黨”和“RAG黨”之間的爭論，把“長上下文”和“RAG”整個地結合了起來，反正就是“我全都要”。至于效果嘛？據說連GPT-4也已經被“吊打”了喔～
論文鏈接:

原文鏈接：強強聯合！當RAG遇到長上下文，滑鐵盧大學發布LongRAG，效果領先GPT-4 Turbo 50%

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189