SigLIP 2 – 谷歌 DeepMind 推出的多語(yǔ)言視覺(jué)語(yǔ)言編碼器模型

SigLIP 2 是由 Google DeepMind 開(kāi)發(fā)的一款先進(jìn)的多語(yǔ)言視覺(jué)-語(yǔ)言模型，作為其前身 SigLIP 的升級(jí)版本，顯著提升了圖像與文本之間的對(duì)齊能力。通過(guò)創(chuàng)新的訓(xùn)練方法和架構(gòu)，SigLIP 2 在多語(yǔ)言理解、零樣本分類(lèi)以及圖像-文本檢索等多項(xiàng)任務(wù)中展現(xiàn)出了卓越的性能。

SigLIP 2是什么

SigLIP 2 是 Google DeepMind 推出的前沿多語(yǔ)言視覺(jué)-語(yǔ)言模型，旨在增強(qiáng)圖像與文本之間的精確匹配能力。該模型通過(guò)改進(jìn)的訓(xùn)練策略和架構(gòu)，顯著提升了在多語(yǔ)言理解、零樣本分類(lèi)和圖像-文本檢索等任務(wù)中的表現(xiàn)。SigLIP 2 能處理多種語(yǔ)言的文本輸入，并與圖像進(jìn)行精準(zhǔn)的匹配。它引入了自監(jiān)督學(xué)習(xí)技術(shù)，包括掩碼預(yù)測(cè)和自蒸餾，進(jìn)一步增強(qiáng)了模型的特征提取能力。此外，SigLIP 2 提供了兩種變體：FixRes（固定分辨率）和 NaFlex（支持多種分辨率和寬高比），使其能夠適應(yīng)不同分辨率的圖像輸入。

SigLIP 2的主要功能

• 多語(yǔ)言支持：SigLIP 2 能夠處理多種語(yǔ)言，提供出色的多語(yǔ)言視覺(jué)-語(yǔ)言編碼能力，適用于不同的語(yǔ)言和文化背景。
• 零樣本分類(lèi)：該模型無(wú)需針對(duì)特定任務(wù)進(jìn)行微調(diào)即可在新類(lèi)別上進(jìn)行分類(lèi)。
• 圖像-文本檢索：支持圖像與文本的雙向檢索，能夠迅速找到與輸入內(nèi)容最匹配的項(xiàng)。
• 增強(qiáng)大型語(yǔ)言模型的視覺(jué)能力：SigLIP 2 可以作為視覺(jué)模塊，為其他語(yǔ)言模型提供高效的圖像理解能力。
• 高效訓(xùn)練與優(yōu)化：采用 Sigmoid 損失函數(shù)，克服了傳統(tǒng)對(duì)比學(xué)習(xí)方法（如 CLIP 的 InfoNCE 損失）在存儲(chǔ)和計(jì)算方面的瓶頸，顯著提升了訓(xùn)練效率。

SigLIP 2的技術(shù)原理

• Sigmoid 損失函數(shù)：SigLIP 2 采用 Sigmoid 損失函數(shù)替代傳統(tǒng)的對(duì)比損失函數(shù)，通過(guò)更均衡地學(xué)習(xí)全局與局部特征，避免了對(duì)比學(xué)習(xí)中常見(jiàn)的計(jì)算瓶頸。
• 自監(jiān)督學(xué)習(xí)與解碼器預(yù)訓(xùn)練：結(jié)合圖像描述預(yù)訓(xùn)練與自監(jiān)督學(xué)習(xí)方法（如自蒸餾與掩碼預(yù)測(cè)），模型能夠更好地理解圖像區(qū)域及其對(duì)應(yīng)的文本，提高對(duì)細(xì)節(jié)的捕捉能力。
• 動(dòng)態(tài)分辨率支持：NaFlex 變體支持多種分辨率和寬高比，能夠保留圖像的空間信息，適應(yīng)對(duì)分辨率敏感的任務(wù)，如文檔理解和 OCR。
• 多語(yǔ)言支持與去偏技術(shù)：在訓(xùn)練過(guò)程中使用多語(yǔ)言數(shù)據(jù)集，并通過(guò)去偏技術(shù)來(lái)減少性別和文化偏見(jiàn)，確保模型在多語(yǔ)言任務(wù)中的公平性和準(zhǔn)確性。
• 全局與局部特征的結(jié)合：通過(guò) Global-Local Loss 和 Masked Prediction Loss，SigLIP 2 可以同時(shí)關(guān)注全局語(yǔ)義和局部細(xì)節(jié)，在密集預(yù)測(cè)任務(wù)中表現(xiàn)更優(yōu)。
• 向后兼容性：基于 Vision Transformer 架構(gòu)，SigLIP 2 保持與早期版本的兼容性，用戶(hù)可以無(wú)縫替換模型權(quán)重，無(wú)需重構(gòu)整個(gè)系統(tǒng)。

SigLIP 2的項(xiàng)目地址

• Github倉(cāng)庫(kù)：https://github.com/google-research/siglip2.md
• HuggingFace模型庫(kù)：https://huggingface.co/collections/google/siglip2
• arXiv技術(shù)論文：https://arxiv.org/pdf/2502.14786

SigLIP 2的應(yīng)用場(chǎng)景

• 多語(yǔ)言圖像分類(lèi)：SigLIP 2 支持多種語(yǔ)言的零樣本分類(lèi)任務(wù)，能夠跨語(yǔ)言識(shí)別和分類(lèi)圖像。用戶(hù)只需上傳一張圖片，模型就能判斷該圖片屬于“動(dòng)物”類(lèi)別。
• 視覺(jué)問(wèn)答（VQA）：結(jié)合語(yǔ)言模型，SigLIP 2 可以處理視覺(jué)問(wèn)答任務(wù)，為用戶(hù)提供基于圖像內(nèi)容的自然語(yǔ)言回答。
• 文檔理解：其多分辨率和保留寬高比的特性使得 SigLIP 2 適合處理文檔圖像，如 OCR 和文檔內(nèi)容理解。
• 開(kāi)放詞匯分割與檢測(cè)：在語(yǔ)義分割和目標(biāo)檢測(cè)任務(wù)中，SigLIP 2 能夠處理未見(jiàn)過(guò)的類(lèi)別，適用于動(dòng)態(tài)環(huán)境下的視覺(jué)任務(wù)。