Promptriever 是一款由約翰斯·霍普金斯大學與 Samaya AI 聯合研發的先進檢索模型。它能像語言模型一樣接受自然語言提示，直觀地滿足用戶的搜索需求。通過基于 MS MARCO 數據集的指令訓練集進行訓練，Promptriever 在標準檢索任務中表現優異，能夠更有效地遵循用戶的詳細指令，從而提升查詢的魯棒性和檢索性能。

Promptriever是什么

Promptriever 是一種新型的信息檢索模型，旨在以自然語言理解用戶的搜索意圖。其創新之處在于結合了大型語言模型的提示技術與信息檢索功能，使得用戶可以用更自然的方式表達他們的需求。該模型通過在 MS MARCO 數據集上的指令訓練，展現出卓越的檢索能力，并能夠靈活應對各種復雜的查詢。

Promptriever的主要功能

• 自然語言提示接受：支持理解用戶以自然語言形式發出的查詢，方便用戶表達搜索需求。
• 動態相關性調整：依據用戶的具體指令，靈活調整搜索結果的相關性，包括對時間、特定屬性等的過濾與排序。
• 增強檢索魯棒性：通過解析自然語言中的細微差別，提升模型對多樣化查詢表達的適應性。
• 提升檢索性能：利用提示進行超參數優化，進而改善搜索結果的質量。

Promptriever的技術原理

• 雙編碼器架構：采用雙編碼器架構，背后使用大型語言模型（如 LLaMA-2 7B）作為支持。
• 指令訓練數據集：從 MS MARCO 數據集中精心篩選出新的指令級訓練集，確保訓練中包含自然語言的查詢相關性定義。
• 指令生成：使用語言模型生成更為具體的指令，能夠添加額外要求或排除某些類型的文檔。
• 指令負例挖掘：通過生成和過濾（query，passage）對，建立相關性降低的負例，幫助模型學習如何依據指令調整相關性判斷。
• 零樣本提示技術：應用零樣本提示技術進行超參數優化，類似于語言模型的提示，從而提升檢索性能。

Promptriever的項目地址

• GitHub倉庫：https://github.com/orionw/promptriever
• arXiv技術論文：https://arxiv.org/pdf/2409.11136

Promptriever的應用場景

• 優化搜索引擎：通過理解用戶的自然語言查詢，提供更精準的搜索結果，提升用戶體驗。
• 智能助手與機器人：能夠理解并執行用戶的復雜指令，提供更個性化及上下文相關的回應。
• 企業內部搜索：在企業知識庫中快速準確地檢索所需信息，提高工作效率。
• 學術研究與文獻查找：根據研究人員的詳細查詢指令，精準檢索相關學術論文和文獻資料。
• 電子商務：根據用戶的購物需求和偏好，提供個性化的搜索結果和產品推薦。

常見問題

• Promptriever如何提高搜索結果的相關性？：通過動態調整搜索結果的相關性，依據用戶的具體指令進行過濾和排序。
• 如何使用Promptriever進行搜索？：用戶只需以自然語言輸入查詢，Promptriever將理解并返回相關結果。
• Promptriever適用于哪些行業？：該模型適用于搜索引擎、智能助手、企業內部搜索、學術研究以及電子商務等多個領域。