AIGC動態(tài)歡迎閱讀

原標(biāo)題：Meta「分割一切」進(jìn)化2.0！一鍵跟蹤物體，代碼權(quán)重數(shù)據(jù)集全開源，網(wǎng)友：真正的OpenAI
關(guān)鍵字：視頻,對象,模型,記憶,圖像
文章來源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

明敏 發(fā)自 凹非寺量子位 | 公眾號 QbitAI又是發(fā)布即開源！
Meta“分割一切AI”二代SAM2在SIGGRAPH上剛剛亮相。
相較于上一代，它的能力從圖像分割拓展到視頻分割。
可實時處理任意長視頻，視頻中沒見過的對象也能輕松分割追蹤。
更關(guān)鍵的是，模型代碼、權(quán)重以及數(shù)據(jù)集通通開源！
它和Llama系列一樣遵循Apache 2.0許可協(xié)議，并根據(jù)BSD-3許可分享評估代碼。
網(wǎng)友yygq：我就問OpenAI尷尬不尷尬。
Meta表示，此次開源的數(shù)據(jù)集包含51000個真實世界視頻和600000個時空掩碼（masklets，spatio-temporal masks)，規(guī)模遠(yuǎn)超此前最大同類數(shù)據(jù)集。
可在線試玩的demo也同步上線，大家都能來體驗。
在SAM之上加入記憶模塊相較于SAM一代，SAM2的能力升級主要有：
支持任意長視頻實時分割
實現(xiàn)zero-shot泛化
分割和追蹤準(zhǔn)確性提升
解決遮擋問題
它進(jìn)行交互式分割的過程主要分為兩步：選擇和細(xì)化。
在第一幀中，用戶通過點擊來選擇目標(biāo)對象，SAM2根據(jù)點擊自動將分割傳播到后續(xù)幀，形成時空掩碼。
如果SAM2在某些幀中丟失了目標(biāo)對象

原文鏈接：Meta「分割一切」進(jìn)化2.0！一鍵跟蹤物體，代碼權(quán)重數(shù)據(jù)集全開源，網(wǎng)友：真正的OpenAI

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：