SAM 3 – Meta開源的視覺分割模型

Meta AI 隆重推出了其最新的尖端計算機視覺模型——SAM 3（Segment Anything Model 3）。這款革新性的模型能夠借助文本描述、樣例參考以及視覺線索，精準地識別、分割并追蹤圖像和視頻中的各類對象。SAM 3 憑借其強大的跨模態交互能力，支持開放詞匯短語的輸入，并能實時動態地校正分割結果，為用戶帶來前所未有的體驗。

SAM 3 究竟是何物？

SAM 3（Segment Anything Model 3）是 Meta AI 傾力打造的最新一代先進計算機視覺模型。它能夠通過文本指令、示例樣本以及直觀的視覺提示，對圖像和視頻中的對象執行檢測、分割和追蹤等一系列復雜任務。該模型顯著的特點在于其對開放詞匯短語輸入的完美兼容，以及卓越的跨模態交互能力，能夠實時動態地調整和優化分割效果。SAM 3 在圖像和視頻分割領域表現出驚人的性能，其效率和準確性達到了現有同類系統的兩倍，并且無縫支持零樣本學習。更令人振奮的是，SAM 3 的能力已延伸至 3D 重建領域，為家居場景預覽、創意視頻編輯以及前沿科學研究等多元化應用場景注入了強勁動力，無疑為計算機視覺的未來發展鋪就了堅實道路。

SAM 3 的核心功能亮點

• 全方位多模態提示支持：SAM 3 能夠靈活運用文本描述、示例圖像以及直觀的視覺交互（如鼠標點擊、框選區域）來精確識別并分割圖像與視頻中的目標對象，完美契合用戶的多樣化操作需求。
• 卓越的圖像與視頻分割能力：SAM 3 能夠一次性檢測并分割圖像中的所有匹配對象，同時支持在視頻序列中高效追蹤特定對象。其強大的實時交互性，允許用戶即時修正分割錯誤，進一步提升結果的精確度。
• 強大的零樣本學習機制：SAM 3 具備處理全新、未知概念的能力，僅憑開放詞匯的文本提示，即可實現對未曾見過的對象類別的分割，無需進行額外的模型訓練。
• 流暢的實時交互體驗：SAM 3 支持用戶通過添加額外的提示信息（例如，精準點擊或劃定區域）來糾正模型可能出現的失誤，從而實現對分割結果的精細化調整，顯著優化整體用戶體驗。
• 廣泛的跨領域應用潛力：SAM 3 的應用范圍極為廣泛，涵蓋了諸如 Instagram Edits 等創意媒體工具，Facebook Marketplace 中的家居裝飾預覽功能，乃至野生動物監測等嚴謹的科學研究領域。

SAM 3 的技術基石解析

• 統一高效的模型架構：SAM 3 采用了統一且強大的模型架構，能夠同時高效處理圖像和視頻中的分割任務。該模型巧妙地融合了先進的視覺編碼器（例如 Meta Perception Encoder）與強大的文本編碼器，使其能夠理解并響應開放詞匯的文本指令。其架構的核心組成部分包括一個能夠識別全局圖像對象的檢測器，以及一個基于記憶機制的視頻，兩者共享同一個核心視覺編碼器。
• 多模態輸入的智能處理：
  • 文本編碼器：負責將用戶輸入的文本提示轉化為可供模型理解的特征向量，從而指導后續的分割過程。
  • 視覺編碼器：負責將輸入的圖像或視頻幀編碼成具有豐富信息的特征向量，為對象的檢測和分割提供基礎。
  • 融合編碼器：將文本特征與視覺特征進行深度融合，生成條件化的圖像特征表示，為最終的分割任務提供精確的引導。
• 創新的“存在頭”設計：為了進一步提升模型的分類精度，SAM 3 引入了一個名為“存在頭”（Presence Head）的創新模塊。該模塊專門負責預測目標概念在圖像或視頻中是否實際存在，從而將對象的識別任務與定位任務有效解耦，顯著提高了模型的準確性和處理效率。
• 海量數據驅動的訓練引擎：為了訓練 SAM 3，Meta 構建了一個極其高效的數據引擎。該引擎巧妙地結合了人工標注和 AI 輔助標注策略，成功生成了超過 400 萬個獨特概念的高質量標注數據集。這些數據覆蓋了極其廣泛的視覺領域和多樣的任務類型，確保了模型擁有卓越的泛化能力。
• 賦能零樣本學習：SAM 3 的核心能力之一是其對零樣本學習的支持，使其能夠處理訓練過程中從未見過的新概念。通過開放詞匯的文本提示，模型能夠利用預先訓練好的視覺和語言編碼器，精準地識別并分割出全新的對象類別。
• 無縫的實時交互體驗：SAM 3 提供了流暢的實時交互功能，用戶可以通過添加額外的提示信息（例如，精準點擊或框選區域）來糾正模型的分割錯誤，從而實現對結果的精細化優化。這種交互性使得模型能夠更準確地理解用戶的意圖，并根據用戶反饋進行動態調整。
• 精密的視頻追蹤與分割：在處理視頻任務時，SAM 3 運用了一個基于記憶的來維持對象在時空維度上的一致性。該結合了檢測器的輸出以及存儲在記憶中的歷史信息，能夠生成高質量的分割掩碼，并能平滑地在視頻幀之間傳遞掩碼信息。

SAM 3 的官方資源入口

• 項目官方網站：https://ai.meta.com/sam3/
• GitHub 代碼倉庫：https://github.com/facebookresearch/sam3/
• 在線體驗演示（Demo）：https://www.aidemos.meta.com/segment-anything

SAM 3 的廣泛應用場景展望

• 賦能創意媒體制作：內容創作者可以以前所未有的速度為視頻中的人物或物體應用各種特效，極大地提升了創作效率和想象力。
• 革新家居裝飾體驗：在 Facebook Marketplace 中，SAM 3 支持的“房間預覽”功能，讓用戶能夠直觀地將家居裝飾品放置于真實空間中進行預覽，從而做出更明智的購買決策。
• 推動科學研究進展：SAM 3 被廣泛應用于野生動物監測和深海探索等領域，為科研人員提供了強大的工具，以更深入地理解和保護我們的自然生態系統，例如通過視頻分析來揭示野生動物的行為模式。
• 引領 3D 重建新浪潮：SAM 3D 技術能夠從單張圖像重建出逼真的 3D 物體和人體模型，為真實世界場景的 3D 重建設定了新的行業標準，為虛擬現實和增強現實應用的蓬勃發展奠定了基礎。
• 豐富視頻創作的可能性：SAM 3 提供了一系列智能的 AI 視覺創作工具，能夠支持對現有 AI 生成視頻進行靈活的混剪和編輯，極大地拓寬了視頻創作的邊界。