如何高效橋接視覺和語言，字節&中大提出全新多模態大模型連接器ParGo

ParGo 克服了傳統方法中忽視細節的問題。

原標題：如何高效橋接視覺和語言，字節&中大提出全新多模態大模型連接器ParGo
文章來源：機器之心
內容字數：3778字

字節跳動與中大合作：ParGo模型革新多模態大語言模型視覺-語言連接

本文總結了字節跳動與中山大學合作提出的ParGo模型，該模型在多模態大語言模型（MLLMs）的視覺-語言連接方面取得了顯著突破，并被AAAI 2025收錄。

1. 多模態大語言模型中的視覺-語言連接挑戰

在MLLMs中，高效地將視覺特征映射到LLM的語言空間是關鍵。傳統的線性投影或多層感知機（MLP）方法難以控制視覺token數量，尤其在處理細粒度特征時計算成本極高。基于注意力機制的方法（如Q-former）雖然降低了計算成本，但容易忽略圖像細節，過度關注顯著區域。

2. ParGo模型：全局視野與局部細節的融合

為了解決上述問題，ParGo模型提出了一種創新的全局-局部投影器。該模型的核心在于巧妙地融合全局視野和局部細節，通過兩種類型的可學習token——Partial token和Global token——分別提取圖像的局部和全局信息。

3. 核心模塊：Partial-Global Perception Block (PGP) 和 Cascaded Partial Perception Block (CPP)

ParGo包含兩個關鍵模塊：PGP和CPP。PGP模塊利用Partial-Global Attention Mask，同時輸出包含局部和全局信息的Partial tokens和Global tokens。CPP模塊則通過級聯的自注意力機制，逐步擴展Partial token的感知范圍，增強對多種局部信息的捕獲能力，尤其是在不同局部物體占比不同的情況下。

4. 實驗結果與對比

論文在多個權威基準測試中對ParGo與其他主流投影器進行了對比，結果顯示ParGo在各種基座LLM下均表現出色，取得了最佳性能。尤其是在控制token數量的同時，ParGo在文字識別準確率、圖像細節描述程度和局部元素識別效果上都優于其他方法，例如Q-former。

5. ParGo模型的優勢與總結

ParGo模型通過結合局部和全局信息，并使用精心設計的注意力掩碼，在控制token數量的同時，增強了局部區域之間的關系建模，有效克服了傳統方法忽視細節的問題。這使得ParGo能夠在更細膩的層面上展現視覺特征，實現視覺特征和LLM的高效連接，顯著提升了多模態大語言模型的效果。

總之，ParGo模型為多模態大語言模型的視覺-語言連接提供了一種高效且有效的解決方案，其在兼顧全局信息和局部細節方面的創新，為未來MLLMs的發展指明了新的方向。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺