MMSearch

MMSearch是一個專為評估大型多模態(tài)模型（LMMs）在AI搜索引擎中的表現(xiàn)而設(shè)計的基準(zhǔn)測試工具。它包含一個MMSearch-Engine框架和一個由300個問題組成的測試集，涵蓋14個不同的子領(lǐng)域。通過問題重構(gòu)、網(wǎng)頁排序和答案總結(jié)三大步驟，MMSearch極大地提升了LMMs的搜索能力。

MMSearch是什么

MMSearch是一個基準(zhǔn)測試工具，專門用于評估大型多模態(tài)模型（LMMs）在作為AI搜索引擎時的能力。它由MMSearch-Engine框架和一個包含300個問題的測試集組成，問題涵蓋新聞和知識兩大類別，確保測試內(nèi)容與LMMs的訓(xùn)練數(shù)據(jù)不重疊，從而提供公正的評估。實驗結(jié)果顯示，GPT-4o模型在MMSearch基準(zhǔn)測試中表現(xiàn)突出，超越了商業(yè)產(chǎn)品Perplexity Pro。另外，研究發(fā)現(xiàn)，在測試時增加計算量的效果優(yōu)于單純增大模型規(guī)模。

MMSearch的主要功能

• 多模態(tài)搜索能力評估：該系統(tǒng)旨在評估大型多模態(tài)模型（LMMs）在處理復(fù)雜包含圖像和文本的查詢時的表現(xiàn)。
• 問題重構(gòu)：將用戶的原始查詢轉(zhuǎn)變?yōu)檫m合搜索引擎處理的格式。
• 網(wǎng)頁排序：從搜索引擎返回的結(jié)果中篩選出最相關(guān)的網(wǎng)頁。
• 答案總結(jié)：從選出的網(wǎng)頁中提取并總結(jié)出答案。

MMSearch的技術(shù)原理

• MMSearch-Engine框架：
  • 問題重構(gòu)（Requery）：基于LMMs對用戶查詢意圖的理解，將其轉(zhuǎn)化為搜索引擎可處理的格式。如果查詢中包含圖像，還會利用Google Lens等工具識別圖像中的關(guān)鍵信息。
  • 網(wǎng)頁排序（Rerank）：利用LMMs對搜索引擎返回的結(jié)果進(jìn)行重新排序，以確定哪些網(wǎng)頁最有可能包含正確答案。
  • 答案總結(jié)（Summarization）：從選中的網(wǎng)頁中提取相關(guān)信息，并進(jìn)行總結(jié)。
• 數(shù)據(jù)集設(shè)計：MMSearch包含300個手動收集的查詢實例，涵蓋新聞和知識領(lǐng)域，確保與LMMs的訓(xùn)練數(shù)據(jù)不重疊。
• 評估策略：通過端到端任務(wù)和任務(wù)（問題重構(gòu)、網(wǎng)頁排序、答案總結(jié)）來評估LMMs的性能。

MMSearch的項目地址

• 項目官網(wǎng)：mmsearch.github.io
• GitHub倉庫：https://github.com/CaraJ7/MMSearch
• HuggingFace模型庫：https://huggingface.co/datasets/CaraJ/MMSearch
• arXiv技術(shù)論文：https://arxiv.org/pdf/2409.12959

MMSearch的應(yīng)用場景

• 學(xué)術(shù)研究：研究人員可以利用MMSearch來評估和比較不同大型多模態(tài)模型在處理復(fù)雜查詢時的性能。
• 搜索引擎優(yōu)化：搜索引擎開發(fā)者可以使用MMSearch的框架和評估方法，以改進(jìn)搜索引擎算法，更好地理解和響應(yīng)用戶的多模態(tài)查詢。
• 智能助手：在開發(fā)智能助手或機(jī)器人時，MMSearch能夠提升助手對用戶輸入的圖像和文本信息的理解和響應(yīng)能力。
• 內(nèi)容推薦系統(tǒng)：內(nèi)容推薦平臺可以利用MMSearch的技術(shù)原理，更準(zhǔn)確地分析用戶的查詢意圖，從而提供更相關(guān)的推薦內(nèi)容。
• 教育和培訓(xùn)：教育工具可以整合MMSearch的評估方法，設(shè)計課程和訓(xùn)練材料，幫助學(xué)生更好地理解多模態(tài)信息檢索的概念。