AIGC動態(tài)歡迎閱讀

原標(biāo)題：首個通用雙向Adapter多模態(tài)目標(biāo)追蹤方法BAT，入選AAAI 2024
關(guān)鍵字：方法,雙向,主導(dǎo),提示,模型
文章來源：機器之心
內(nèi)容字?jǐn)?shù)：6357字

內(nèi)容摘要：

機器之心專欄
機器之心編輯部能夠有效實現(xiàn)多模態(tài)交叉提示跟蹤。
目標(biāo)跟蹤是計算機視覺的一項基礎(chǔ)視覺任務(wù)，由于計算機視覺的快速發(fā)展，單模態(tài) (RGB) 目標(biāo)跟蹤近年來取得了重大進展。考慮到單一成像傳感器的局限性，我們需要引入多模態(tài)圖像 (RGB、紅外等) 來彌補這一缺陷，以實現(xiàn)復(fù)雜環(huán)境下全天候目標(biāo)跟蹤。
然而，現(xiàn)有的多模態(tài)跟蹤任務(wù)也面臨兩個主要問題：
由于多模態(tài)目標(biāo)跟蹤的數(shù)據(jù)標(biāo)注成本高，大多數(shù)現(xiàn)有數(shù)據(jù)集規(guī)模有限，不足以支持構(gòu)建有效的多模態(tài)；
因為不同的成像方式在變化的環(huán)境中對物體的敏感度不同，開放世界中主導(dǎo)模態(tài)是動態(tài)變化的，多模態(tài)數(shù)據(jù)之間的主導(dǎo)相關(guān)性并不固定。
在 RGB 序列上進行預(yù)訓(xùn)練，然后以完全微調(diào)的方式轉(zhuǎn)移到多模態(tài)場景的許多多模態(tài)跟蹤工作存在時間昂貴和效率低下的問題，同時表現(xiàn)出有限的性能。
除了完全微調(diào)方法之外，受自然語言處理 (NLP) 領(lǐng)域參數(shù)高效微調(diào)方法成功的啟發(fā)，一些最近的方法通過凍結(jié)骨干網(wǎng)絡(luò)參數(shù)并附加一組額外可學(xué)習(xí)的參數(shù)，將參數(shù)高效 prompt 微調(diào)引入到多模態(tài)跟蹤中。
這些方法通常以一種模態(tài) (通常是 RGB) 為主導(dǎo)模態(tài)，另一種模態(tài)作為輔助模態(tài)。然而，這些方法

原文鏈接：首個通用雙向Adapter多模態(tài)目標(biāo)追蹤方法BAT，入選AAAI 2024

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺