CVPR 2024 | 分割一切模型SAM泛化能力差？域適應策略給解決了

AIGC動態1年前 (2024)發布機器之心

AIGC動態歡迎閱讀

原標題：CVPR 2024 | 分割一切模型SAM泛化能力差？域適應策略給解決了
關鍵字：編碼器,下游,模型,權重,數據
文章來源：機器之心
內容字數：9669字

內容摘要：

機器之心專欄
機器之心編輯部第一個針對「Segment Anything」大模型的域適應策略來了！相關論文已被CVPR 2024 接收。引言
大語言模型（LLMs）的成功激發了計算機視覺領域探索分割基礎模型的興趣。這些基礎分割模型通常通過 Prompt Engineer 來進行 zero/few 圖像分割。其中，Segment Anything Model（SAM）是最先進的圖像分割基礎模型。圖 SAM 在多個下游任務上表現不佳
但是最近的研究表明，SAM 在多種下游任務中并非具有很強的魯棒性與泛化性，例如在醫學圖像、偽裝物體、添加干擾的自然圖像等領域表現較差。這可能是由于訓練數據集與下游的測試數據集之間存在較大的域差異（Domain Shift）所致。因此，一個非常重要的問題是，如何設計域自適應方案，使 SAM 在面對現實世界和多樣化的下游任務中更加魯棒？
將預訓練好的 SAM 適應到下游任務主要面臨三個挑戰：
首先，傳統的無監督域自適應范式需要源數據集和目標數據集，由于隱私和計算成本較為不可行。
其次，對于域適應，更新所有權重通常性能更好，同時也受到了昂貴的內存成本的限制。
最后，

原文鏈接：CVPR 2024 | 分割一切模型SAM泛化能力差？域適應策略給解決了