BGE-VL

BGE-VL – 智源研究院聯(lián)合多所高校開源的多模態(tài)向量模型

BGE-VL是什么

BGE-VL是由北京智源研究院與多所高校共同開發(fā)的一款多模態(tài)向量模型，利用大規(guī)模合成數(shù)據(jù)MegaPairs進(jìn)行訓(xùn)練。該模型專注于多模態(tài)檢索任務(wù)，能夠有效處理圖文檢索和組合圖像檢索等應(yīng)用。通過(guò)高效的多模態(tài)數(shù)據(jù)合成方法，BGE-VL顯著提升了模型的泛化能力和檢索性能。BGE-VL系列包括基于CLIP架構(gòu)的BGE-VL-Base和BGE-VL-Large，以及基于多模態(tài)大模型架構(gòu)的BGE-VL-MLLM。該模型在多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異，特別是在組合圖像檢索任務(wù)中，刷新了現(xiàn)有記錄，顯著提高了檢索精度。BGE-VL的核心優(yōu)勢(shì)在于其數(shù)據(jù)合成方法的高效性和可擴(kuò)展性，同時(shí)在多模態(tài)任務(wù)上展現(xiàn)出卓越的泛化能力。

BGE-VL的主要功能

• 圖文檢索：用戶可以根據(jù)文本描述檢索出相關(guān)的圖像，或者根據(jù)圖像查找相關(guān)的文本信息。
• 組合圖像檢索：支持用戶同時(shí)輸入圖像和文本指令，綜合理解兩者信息，從而檢索出更精準(zhǔn)的目標(biāo)圖像。
• 多模態(tài)嵌入：模型將圖像和文本映射到統(tǒng)一的向量空間中，使得不同模態(tài)的數(shù)據(jù)能夠通過(guò)向量相似度進(jìn)行比較和檢索。
• 指令微調(diào)：利用合成的多模態(tài)指令數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)，從而更好地理解和執(zhí)行復(fù)雜的多模態(tài)任務(wù)，提升任務(wù)的適應(yīng)性和模型的泛化能力。

BGE-VL的技術(shù)原理

• 數(shù)據(jù)合成方法（MegaPairs）：
  • 數(shù)據(jù)挖掘：從龐大的圖文語(yǔ)料庫(kù)中挖掘多樣化的圖像對(duì)，運(yùn)用多種相似度模型（如CLIP等）找到與查詢圖像相關(guān)的候選圖像。
  • 指令生成：基于多模態(tài)大語(yǔ)言模型（MLLM）和大語(yǔ)言模型（LLM）生成開放域檢索指令，總結(jié)圖像對(duì)之間的關(guān)聯(lián)關(guān)系，撰寫高質(zhì)量的檢索指令。
  • 三元組構(gòu)造：生成包含“查詢圖像、查詢語(yǔ)句、目標(biāo)圖像”的多模態(tài)三元組數(shù)據(jù)，用于模型訓(xùn)練，數(shù)據(jù)無(wú)需人工標(biāo)注，具有高效性和可擴(kuò)展性。
• 多模態(tài)模型架構(gòu)：
  • 基于CLIP的架構(gòu)：BGE-VL-Base和BGE-VL-Large基于類似CLIP的架構(gòu)，將圖像編碼器和文本編碼器相結(jié)合，將圖像與文本映射到同一向量空間，通過(guò)對(duì)比學(xué)習(xí)優(yōu)化模型性能。
  • 多模態(tài)大模型架構(gòu)：BGE-VL-MLLM采用更復(fù)雜的多模態(tài)大模型架構(gòu)，處理復(fù)雜的多模態(tài)交互和指令理解任務(wù)。
  • 指令微調(diào)：通過(guò)合成的多模態(tài)指令數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)，增強(qiáng)模型對(duì)多模態(tài)任務(wù)的理解和執(zhí)行能力。
• 對(duì)比學(xué)習(xí)與優(yōu)化：在模型訓(xùn)練過(guò)程中，通過(guò)對(duì)比學(xué)習(xí)優(yōu)化多模態(tài)嵌入的向量表示，使得相關(guān)的圖像和文本在向量空間中更接近，而不相關(guān)的則遠(yuǎn)離。基于大規(guī)模合成數(shù)據(jù)的訓(xùn)練，使得模型學(xué)習(xí)到更具泛化性的多模態(tài)特征表示，在多種多模態(tài)任務(wù)中表現(xiàn)出色。

BGE-VL的官網(wǎng)

• HuggingFace模型庫(kù)：https://huggingface.co/collections/BAAI/megapairs

BGE-VL的應(yīng)用場(chǎng)景

• 智能搜索：用戶可以上傳圖片或輸入文字，快速找到相關(guān)內(nèi)容，提高搜索的精準(zhǔn)度。
• 內(nèi)容推薦：根據(jù)用戶上傳的內(nèi)容或興趣，推薦相似的圖文資料，增強(qiáng)個(gè)性化體驗(yàn)。
• 圖像編輯輔助：幫助設(shè)計(jì)師快速找到風(fēng)格相似的參考圖像，提高創(chuàng)作效率。
• 智能客服：結(jié)合圖像和文字理解用戶的問(wèn)題，提供更直觀的解決方案，提升服務(wù)效率。
• 文化遺產(chǎn)研究：通過(guò)圖像和文字檢索，快速找到相關(guān)文物或研究資料，助力考古和保護(hù)工作。

常見問(wèn)題

• BGE-VL如何提升檢索精度？：BGE-VL通過(guò)多模態(tài)數(shù)據(jù)合成和對(duì)比學(xué)習(xí)方法，能更好地理解圖像和文本之間的關(guān)聯(lián)，從而提高檢索的準(zhǔn)確性。
• 該模型適用于哪些領(lǐng)域？：BGE-VL適用于圖文檢索、內(nèi)容推薦、圖像編輯輔助、智能客服以及文化遺產(chǎn)研究等多個(gè)領(lǐng)域。
• 如何訪問(wèn)BGE-VL模型？：用戶可以通過(guò)HuggingFace模型庫(kù)訪問(wèn)BGE-VL模型，網(wǎng)址為：https://huggingface.co/collections/BAAI/megapairs