Segment Anything

Segment Anything官網,model,github,論文,meta sam AI圖像分割模型

什么是Segment Anything?

最近 Meta 提出的分割一切模型（Segment Anything Model，SAM）突破了分割界限，極大地促進了計算機視覺基礎模型的發展。SAM 是一個提示型模型，其在 1100 萬張圖像上訓練了超過 10 億個掩碼，實現了強大的零樣本泛化。許多研究人員認為「這是 CV 的 GPT-3 時刻，因為 SAM 已經學會了物體是什么的一般概念，甚至是未知的物體、不熟悉的場景（如水下、細胞顯微鏡）和模糊的情況」，并展示了作為 CV 基本模型的巨大潛力。
Segment Anything官網: https://segment-anything.com/
Segment Anything論文: https://arxiv.org/abs/2304.02643
Segment Anything github項目地址:
https://github.com/facebookresearch/segment-anything

Segment Anything 做為Facebook 推出的object分割模型（SAM）和數據集（SA-1B），萬物可分割。基于NLP的思路，SAM提出了promp的交互的概念，即通過提示返回有效的mask，提示如point, box等，可以用于下游任務。

Segment Anything使用方法

Segment Anything（SA）項目：一種新的圖像分割任務、模型和數據集。在數據采集循環中使用我們的高效模型，我們建立了迄今為止最大的分割數據集，在1100萬許可和尊重隱私的圖像上有超過10億個掩碼。該模型被設計和訓練為可提示的，因此它可以將zero-shot transfer零樣本遷移到新的圖像分布和任務。我們評估了它在許多任務上的能力，并發現它的零樣本性能令人印象深刻，通常與之前的完全監督的結果相當，甚至更優。我們正在發布Segment Anything Model（SAM）和相應的數據集（SA-1B），其中包含10億個掩碼和1100萬個圖像，以促進計算機視覺基礎模型的研究。

Segment ?Anything借助了NLP任務中的Prompt思路，通過給圖像分割任務提供一下Prompt提示來完成任意目標的快速分割。提示可以是前景/背景點集、粗略的框或遮罩、任意形式的文本或者任何指示圖像中需要進行分割的信息。該任務的輸入是原始的圖像和一些提示語，輸出是圖片中不同目標的掩碼信息。