百川智能RAG方案總結：搜索出生的百川智能大模型RAG爬坑之路

AIGC動態歡迎閱讀

原標題：百川智能RAG方案總結：搜索出生的百川智能大模型RAG爬坑之路
關鍵字：模型,解讀,問題,向量,方法
文章來源：算法邦
內容字數：5489字

內容摘要：

直播預告 | 1月17日晚7點，「多模態大模型線上閉門會」正式開講！阿里巴巴通義實驗室 NLP 高級算法專家嚴明參與出品，攜手劉兆洋、李彥瑋、文束三位青年學者，共同探討多模態大模型的發展與應用，歡迎報名。今天對百川的RAG方法進行解讀，百川智能具有深厚的搜索背景，來看看他們是怎么爬RAG的坑的吧～
總的來說，百川通過長上下文模型(192k)+搜索增強結合的方法來解決知識更新，降低模型幻覺的問題，使得其在5000萬tokens的數據集中取得95%的精度。其主要在以下幾個方面做優化：
1) Query拓展：這是我自己取的名字，可能不太準確，其主要參考Meta的CoVe[1]以及百川自研的Think Step-Further方法對原始用戶輸入的復雜問題進行拆解、拓展，挖掘用戶更深層次的子問題，借助子問題檢索效果更高的特點來解決復雜問題檢索質量偏差的問題。
2) 優化檢索鏈路：采用稀疏檢索+向量檢索+Rerank結合的方法，來提高檢索的召回率和準確率。并且其自研的Baichuan-Text-Embedding向量模型也登頂了C-MTEB語義向量評測標準。
3) 自我反省機制：百川智能通過sel

原文鏈接：百川智能RAG方案總結：搜索出生的百川智能大模型RAG爬坑之路

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關注大模型、生成式AI、計算機視覺三大領域的研究與開發，提供技術文章、講座、在線研討會。