SAM 2（Segment Anything Model 2）是Meta開發(fā)的一款先進(jìn)AI對象分割模型，專注于實(shí)時處理圖像和視頻的分割任務(wù)。它具備優(yōu)異的零樣本泛化能力，可以準(zhǔn)確識別并分割未見過的對象。此外，它通過一個統(tǒng)一的架構(gòu)同時支持圖像和視頻的處理，提升了應(yīng)用的靈活性。SAM 2還具備交互式提示功能，允許用戶通過簡單的點(diǎn)擊或框選來指導(dǎo)分割過程。該模型已開源，推動了視頻編輯、自動駕駛、醫(yī)學(xué)成像等多個領(lǐng)域的應(yīng)用進(jìn)展。

SAM 2是什么

SAM 2（Segment Anything Model 2）是Meta推出的一款A(yù)I對象分割模型，旨在實(shí)時處理圖片和視頻中的對象分割。它具有卓越的零樣本泛化能力，能夠有效分割未知對象，并且通過統(tǒng)一的架構(gòu)同時處理圖像和視頻。SAM 2的設(shè)計支持用戶交互，通過點(diǎn)擊或框選來指導(dǎo)分割過程。該模型已開源，推動了AI在視頻編輯、自動駕駛和醫(yī)學(xué)成像等領(lǐng)域的廣泛應(yīng)用。

SAM 2的主要功能

• 集成處理能力：SAM 2能同時處理靜態(tài)圖像和動態(tài)視頻的分割任務(wù)，提升了應(yīng)用的靈活性和效率。
• 高效實(shí)時處理：具備高效的實(shí)時處理能力，每秒可分析多達(dá)44幀的圖像，滿足快速反饋需求的應(yīng)用場景，如視頻編輯和增強(qiáng)現(xiàn)實(shí)。
• 適應(yīng)性強(qiáng)：該模型能夠識別并分割在訓(xùn)練階段未曾出現(xiàn)過的新物體，展現(xiàn)出良好的適應(yīng)性。
• 用戶交互改進(jìn)：用戶可以通過反饋告訴SAM 2哪些地方表現(xiàn)良好，哪些地方需要改進(jìn)，從而提升模型的準(zhǔn)確性。
• 復(fù)雜場景解析：在復(fù)雜或模糊的場景中，SAM 2能夠提供多個分割選項(xiàng)，智能地解析和區(qū)分重疊或部分遮擋的對象。

SAM 2的技術(shù)原理

• 統(tǒng)一模型架構(gòu)：SAM 2將圖像和視頻分割功能整合在一個模型中，基于用戶提示，通過點(diǎn)、邊界框或掩碼來指定感興趣的對象。
• 高級處理機(jī)制：該模型設(shè)計有處理視頻分割中常見問題的機(jī)制，如物體遮擋。使用復(fù)雜的記憶機(jī)制來跟蹤各幀中的物體，確保連續(xù)性。
• 模型架構(gòu)：包括圖像和視頻編碼器、提示編碼器、記憶機(jī)制（記憶編碼器、記憶庫和記憶注意力模塊）以及掩碼解碼器，這些組件協(xié)同工作以提取特征、處理用戶提示、存儲過去幀的信息，并生成最終的分割掩碼。
• 記憶機(jī)制和遮擋處理：記憶機(jī)制使SAM 2能夠處理時間依賴性和遮擋問題。當(dāng)物體移動或被遮擋時，模型可以依賴記憶庫預(yù)測對象的位置和外觀。
• 多掩碼模糊解決：在存在多個可能的分割對象時，SAM 2能夠生成多個掩碼預(yù)測，提高對復(fù)雜場景的準(zhǔn)確度。
• SA-V 數(shù)據(jù)集：為了訓(xùn)練SAM 2，開發(fā)了SA-V數(shù)據(jù)集，成為目前最大、最具多樣性的視頻分割數(shù)據(jù)集之一，涵蓋超過51,000個視頻和600,000個掩碼注釋，提供了前所未有的多樣性和復(fù)雜性。
• 提示視覺分割任務(wù)：SAM 2設(shè)計為可以接受視頻中任意一幀的輸入提示，定義要預(yù)測的時空掩碼，并能夠依據(jù)這些提示即時預(yù)測當(dāng)前幀的遮罩，并在時間上進(jìn)行傳播，生成目標(biāo)對象在所有視頻幀中的masklet。

SAM 2的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://ai.meta.com/sam2/
• 體驗(yàn)Demo：https://aidemos.meta.com/
• GitHub倉庫：https://github.com/facebookresearch/segment-anything-2
• HuggingFace模型庫：https://huggingface.co/models?search=facebook/sam2
• arXiv技術(shù)論文：https://arxiv.org/abs/2408.00714

SAM 2的應(yīng)用場景

• 視頻編輯：在視頻后期制作中，SAM 2可以迅速分割視頻中的對象，幫助編輯者從復(fù)雜背景中提取特定元素，并進(jìn)行特效添加或替換。
• 增強(qiáng)現(xiàn)實(shí)（AR）：在增強(qiáng)現(xiàn)實(shí)應(yīng)用中，SAM 2能夠?qū)崟r識別和分割現(xiàn)實(shí)世界中的對象，為用戶疊加虛擬信息或圖像。
• 自動駕駛：在自動駕駛系統(tǒng)中，SAM 2可以精確識別和分割道路、行人、車輛等，提高導(dǎo)航和避障的準(zhǔn)確性。
• 醫(yī)學(xué)成像：在醫(yī)學(xué)領(lǐng)域，SAM 2可以輔助醫(yī)生在醫(yī)學(xué)影像中分割和識別病變區(qū)域，為診斷和治療計劃提供支持。
• 內(nèi)容創(chuàng)作：對于內(nèi)容創(chuàng)作者，SAM 2能夠在視頻或圖像中快速選取特定對象，拓展創(chuàng)作的可能性。