AIMv2

AIMv2 – 蘋果開源的多模態(tài)自回歸預(yù)訓(xùn)練視覺模型

AIMv2是什么

AIMv2是蘋果公司推出的開源多模態(tài)自回歸預(yù)訓(xùn)練視覺模型，通過深度融合圖像和文本信息，提高視覺模型的性能。它采用了一種創(chuàng)新的預(yù)訓(xùn)練框架，將圖像切分為非重疊的圖像塊，并將文本拆分為子詞令牌，隨后將這兩種信息合并為一個統(tǒng)一的序列進行自回歸預(yù)訓(xùn)練。這一方法簡化了訓(xùn)練過程，并顯著增強了模型對多模態(tài)數(shù)據(jù)的理解能力。AIMv2提供多種參數(shù)規(guī)模的版本（如300M、600M、1.2B和2.7B），能夠適應(yīng)從手機到PC的不同設(shè)備。在性能方面，AIMv2在多模態(tài)任務(wù)和傳統(tǒng)視覺任務(wù)中均表現(xiàn)優(yōu)異。

AIMv2的主要功能

• 視覺問答（VQA）：AIMv2能夠提取圖像特征，并將其與問題文本結(jié)合，傳遞給大型語言模型（LLM），從而生成準(zhǔn)確且符合上下文的回答。
• 指代表達理解：在RefCOCO和RefCOCO+等基準(zhǔn)測試中，AIMv2能夠精確地將自然語言描述與圖像區(qū)域相對應(yīng)。
• 圖像字幕生成：結(jié)合LLM，AIMv2能夠產(chǎn)生高質(zhì)量的圖像描述。
• 多媒體檢索：AIMv2強大的多模態(tài)表示能力使其能夠高效處理多媒體檢索任務(wù)，支持圖像與文本的聯(lián)合檢索。
• 與大型語言模型（LLM）集成：AIMv2的架構(gòu)與LLM驅(qū)動的多模態(tài)應(yīng)用高度契合，能夠無縫融入各種多模態(tài)系統(tǒng)中。
• 零樣本適應(yīng)性：AIMv2支持零樣本識別適應(yīng)性，能夠在沒有額外訓(xùn)練的情況下適應(yīng)新的視覺任務(wù)。

AIMv2的技術(shù)原理

• 多模態(tài)自回歸預(yù)訓(xùn)練框架：AIMv2將圖像分割為不重疊的小塊（Patch），將文本分解為子詞標(biāo)記，隨后將兩者拼接為一個多模態(tài)序列。在預(yù)訓(xùn)練階段，模型通過自回歸方式預(yù)測序列中的下一個元素，無論是圖像塊還是文本標(biāo)記。這種設(shè)計使模型能夠同時學(xué)習(xí)視覺和語言模態(tài)之間的關(guān)系。
• 視覺編碼器與多模態(tài)解碼器：AIMv2的架構(gòu)由視覺編碼器和多模態(tài)解碼器組成。視覺編碼器基于視覺Transformer（ViT）架構(gòu)，負責(zé)處理圖像Patch，而多模態(tài)解碼器則利用因果自注意力機制，根據(jù)前文內(nèi)容預(yù)測下一個元素。
• 損失函數(shù)設(shè)計：AIMv2為圖像和文本領(lǐng)域定義了各自的損失函數(shù)。文本損失采用標(biāo)準(zhǔn)的交叉熵損失，而圖像損失則使用像素級回歸損失，用于比較預(yù)測的圖像塊與真實圖像塊。整體目標(biāo)是最小化文本損失和圖像損失的加權(quán)和，以平衡模型在兩個模態(tài)上的表現(xiàn)。
• 訓(xùn)練數(shù)據(jù)與擴展性：AIMv2使用了大量的圖像和文本配對數(shù)據(jù)集進行預(yù)訓(xùn)練，包括公開的DFN-2B和COYO數(shù)據(jù)集。訓(xùn)練過程簡便高效，無需過大的批量大小或特殊的跨批次通信方法。隨著數(shù)據(jù)量和模型規(guī)模的增加，AIMv2的性能也不斷提升，展現(xiàn)出良好的可擴展性。
• 預(yù)訓(xùn)練后的優(yōu)化策略：AIMv2探索了多種訓(xùn)練后策略，如高分辨率適配和原始分辨率微調(diào)。這些策略使模型能夠更好地處理不同分辨率和寬高比的圖像，進一步提升其在下游任務(wù)中的表現(xiàn)。

AIMv2的項目地址

• Github倉庫：https://github.com/apple/ml-aim
• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.14402

AIMv2的應(yīng)用場景

• 圖像識別：AIMv2可作為特征提取器，用于多項圖像識別基準(zhǔn)測試。
• 目標(biāo)檢測與實例分割：AIMv2可作為主干網(wǎng)絡(luò)集成到目標(biāo)檢測模型（如Mask R-CNN）中，應(yīng)用于目標(biāo)檢測與實例分割任務(wù)。
• 開放詞匯對象檢測：AIMv2在開放詞匯對象檢測任務(wù)中表現(xiàn)優(yōu)異，能夠識別和定位未見過的類別，展現(xiàn)出強大的泛化能力。

常見問題

• AIMv2支持哪些設(shè)備？ AIMv2提供多種參數(shù)規(guī)模的版本，適用于從手機到PC等各種設(shè)備。
• AIMv2的性能如何？ AIMv2在多模態(tài)任務(wù)和傳統(tǒng)視覺任務(wù)中均表現(xiàn)出色，展現(xiàn)出強大的處理能力。
• 如何獲取AIMv2的資源？ 用戶可以通過其Github倉庫和arXiv論文獲取AIMv2的相關(guān)資源和文檔。