劍橋團隊開源：賦能多模態大模型RAG應用，首個預訓練通用多模態后期交互知識檢索器

AIGC動態歡迎閱讀

原標題：劍橋團隊開源：賦能多模態大模型RAG應用，首個預訓練通用多模態后期交互知識檢索器
關鍵字：模型,編碼器,文本,知識,任務
文章來源：機器之心
內容字數：7579字

內容摘要：

機器之心專欄
機器之心編輯部PreFLMR模型是一個通用的預訓練多模態知識檢索器，可用于搭建多模態RAG應用。模型基于發表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并進行了模型改進和 M2KR 上的大規模預訓練。論文鏈接：https://arxiv.org/abs/2402.08327
DEMO 鏈接：https://u60544-b8d4-53eaa55d.westx.seetacloud.com:8443/
項目主頁鏈接：https://preflmr.github.io/
論文標題：PreFLMR: Scaling Up Fine-Grained Late-Interaction Multi-modal
Retrievers
背景
盡管多模態大模型（例如 GPT4-Vision、Gemini 等）展現出了強大的通用圖文理解能力，它們在回答需要專業知識的問題時表現依然不盡人意。即使 GPT4-Vision 也無法回答知識密集型問題（圖一上），這成為了很多企業級落地應用的瓶頸

原文鏈接：劍橋團隊開源：賦能多模態大模型RAG應用，首個預訓練通用多模態后期交互知識檢索器

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺