延遲交互模型,為什么是下一代RAG的標配?
AIGC動態(tài)歡迎閱讀
原標題:延遲交互模型,為什么是下一代RAG的標配?
關鍵字:向量,模型,數據,參考文獻,編碼器
文章來源:機器之心
內容字數:0字
內容摘要:
AIxiv專欄是機器之心發(fā)布學術、技術內容的欄目。過去數年,機器之心AIxiv專欄接收報道了2000多篇內容,覆蓋全球各大高校與企業(yè)的頂級實驗室,有效促進了學術交流與傳播。如果您有優(yōu)秀的工作想要分享,歡迎投稿或者聯系報道。投稿郵箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com張穎峰:英飛流聯合創(chuàng)始人,多年搜索、AI、Infra基礎設施開發(fā)經歷,目前正致力于下一代 RAG 核心產品建設。
在 RAG 系統開發(fā)中,良好的 Reranker 模型處于必不可少的環(huán)節(jié),也總是被拿來放到各類評測當中,這是因為以向量搜索為代表的查詢,會面臨命中率低的問題,因此需要高級的 Reranker 模型來補救,這樣就構成了以向量搜索為粗篩,以 Reranker 模型作精排的兩階段排序架構。
目前排序模型的架構主要有兩類:
1. 雙編碼器。以 BERT 模型為例,它針對查詢和文檔分別編碼,最后再經過一個 Pooling 層,使得輸出僅包含一個向量。在查詢時的 Ranking 階段,只需要計算兩個向量相似度即可,如下圖所示。雙編碼器既可以用于 Ranking
聯系作者
文章來源:機器之心
作者微信:
作者簡介:
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...