BGE-VL – 智源研究院聯(lián)合多所高校開源的多模態(tài)向量模型

BGE-VL是什么

BGE-VL是由北京智源研究院與多所高校共同開發(fā)的一款多模態(tài)向量模型，利用大規(guī)模合成數據MegaPairs進行訓練。該模型專注于多模態(tài)檢索任務，能夠有效處理圖文檢索和組合圖像檢索等應用。通過高效的多模態(tài)數據合成方法，BGE-VL顯著提升了模型的泛化能力和檢索性能。BGE-VL系列包括基于CLIP架構的BGE-VL-Base和BGE-VL-Large，以及基于多模態(tài)大模型架構的BGE-VL-MLLM。該模型在多個基準測試中表現優(yōu)異，特別是在組合圖像檢索任務中，刷新了現有記錄，顯著提高了檢索精度。BGE-VL的核心優(yōu)勢在于其數據合成方法的高效性和可擴展性，同時在多模態(tài)任務上展現出卓越的泛化能力。

BGE-VL的主要功能

• 圖文檢索：用戶可以根據文本描述檢索出相關的圖像，或者根據圖像查找相關的文本信息。
• 組合圖像檢索：支持用戶同時輸入圖像和文本指令，綜合理解兩者信息，從而檢索出更精準的目標圖像。
• 多模態(tài)嵌入：模型將圖像和文本映射到統(tǒng)一的向量空間中，使得不同模態(tài)的數據能夠通過向量相似度進行比較和檢索。
• 指令微調：利用合成的多模態(tài)指令數據對模型進行微調，從而更好地理解和執(zhí)行復雜的多模態(tài)任務，提升任務的適應性和模型的泛化能力。

BGE-VL的技術原理

• 數據合成方法（MegaPairs）：
  • 數據挖掘：從龐大的圖文語料庫中挖掘多樣化的圖像對，運用多種相似度模型（如CLIP等）找到與查詢圖像相關的候選圖像。
  • 指令生成：基于多模態(tài)大語言模型（MLLM）和大語言模型（LLM）生成開放域檢索指令，總結圖像對之間的關聯(lián)關系，撰寫高質量的檢索指令。
  • 三元組構造：生成包含“查詢圖像、查詢語句、目標圖像”的多模態(tài)三元組數據，用于模型訓練，數據無需人工標注，具有高效性和可擴展性。
• 多模態(tài)模型架構：
  • 基于CLIP的架構：BGE-VL-Base和BGE-VL-Large基于類似CLIP的架構，將圖像編碼器和文本編碼器相結合，將圖像與文本映射到同一向量空間，通過對比學習優(yōu)化模型性能。
  • 多模態(tài)大模型架構：BGE-VL-MLLM采用更復雜的多模態(tài)大模型架構，處理復雜的多模態(tài)交互和指令理解任務。
  • 指令微調：通過合成的多模態(tài)指令數據對模型進行微調，增強模型對多模態(tài)任務的理解和執(zhí)行能力。
• 對比學習與優(yōu)化：在模型訓練過程中，通過對比學習優(yōu)化多模態(tài)嵌入的向量表示，使得相關的圖像和文本在向量空間中更接近，而不相關的則遠離。基于大規(guī)模合成數據的訓練，使得模型學習到更具泛化性的多模態(tài)特征表示，在多種多模態(tài)任務中表現出色。

BGE-VL的官網

• HuggingFace模型庫：https://huggingface.co/collections/BAAI/megapairs

BGE-VL的應用場景

• 智能搜索：用戶可以上傳圖片或輸入文字，快速找到相關內容，提高搜索的精準度。
• 內容推薦：根據用戶上傳的內容或興趣，推薦相似的圖文資料，增強個性化體驗。
• 圖像編輯輔助：幫助設計師快速找到風格相似的參考圖像，提高創(chuàng)作效率。
• 智能客服：結合圖像和文字理解用戶的問題，提供更直觀的解決方案，提升服務效率。
• 文化遺產研究：通過圖像和文字檢索，快速找到相關文物或研究資料，助力考古和保護工作。

常見問題

• BGE-VL如何提升檢索精度？：BGE-VL通過多模態(tài)數據合成和對比學習方法，能更好地理解圖像和文本之間的關聯(lián)，從而提高檢索的準確性。
• 該模型適用于哪些領域？：BGE-VL適用于圖文檢索、內容推薦、圖像編輯輔助、智能客服以及文化遺產研究等多個領域。
• 如何訪問BGE-VL模型？：用戶可以通過HuggingFace模型庫訪問BGE-VL模型，網址為：https://huggingface.co/collections/BAAI/megapairs