用基礎(chǔ)模型指導(dǎo)特征傳播,首個(gè)泛化型圖像匹配器OmniGlue搞定未見(jiàn)過(guò)域

AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:用基礎(chǔ)模型指導(dǎo)特征傳播,首個(gè)泛化型圖像匹配器OmniGlue搞定未見(jiàn)過(guò)域
關(guān)鍵字:圖像,研究者,關(guān)鍵,特征,模型
文章來(lái)源:機(jī)器之心
內(nèi)容字?jǐn)?shù):5329字
內(nèi)容摘要:
機(jī)器之心報(bào)道
編輯:杜偉第一個(gè)以「泛化」能力為核心設(shè)計(jì)原則的可學(xué)習(xí)圖像匹配器來(lái)了!對(duì)于想要獲取兩張圖像之間的細(xì)粒度視覺(jué)對(duì)應(yīng)關(guān)系而言,局部圖像特征匹配技術(shù)是高不錯(cuò)的 xuanz,對(duì)于實(shí)現(xiàn)準(zhǔn)確的相機(jī)姿態(tài)估計(jì)和 3D 重建至關(guān)重要。過(guò)去十年見(jiàn)證了從手工制作到基于學(xué)習(xí)的圖像特征的演變。
最近,研究社區(qū)又提出了新穎的可學(xué)習(xí)圖像匹配器,在傳統(tǒng)基準(zhǔn)上實(shí)現(xiàn)了性能的不斷改進(jìn)。盡管已經(jīng)取得了長(zhǎng)足的進(jìn)步,但這些進(jìn)展忽略了一個(gè)重要方面:圖像匹配模型的泛化能力。
如今,大多數(shù)局部特征匹配研究都集中在具有豐富訓(xùn)練數(shù)據(jù)的特定視覺(jué)領(lǐng)域(如室外和室內(nèi)場(chǎng)景),這就導(dǎo)致了模型高度專(zhuān)用于訓(xùn)練領(lǐng)域。遺憾的是,這些方法的性能在域外數(shù)據(jù)(如以對(duì)象為中心或空中捕獲)上通常急劇下降,在某些情況下甚至可能并不比傳統(tǒng)方法好很多。
因此,傳統(tǒng)的域無(wú)關(guān)技術(shù)(如 SIFT)仍被廣泛用于獲取下游應(yīng)用的姿態(tài)。并且由于收集高質(zhì)量注釋的成本很高,在每個(gè)圖像域都有豐富的訓(xùn)練數(shù)據(jù)是不現(xiàn)實(shí)的,就像其他一些視覺(jué)任務(wù)一樣。因此,社區(qū)應(yīng)該專(zhuān)注于開(kāi)發(fā)架構(gòu)改進(jìn),使得可學(xué)習(xí)的匹配方法具有泛化能力。
近日,受上述觀察的啟發(fā),德克薩斯大學(xué)奧斯汀分校和谷歌研究院的研究者聯(lián)合提
原文鏈接:用基礎(chǔ)模型指導(dǎo)特征傳播,首個(gè)泛化型圖像匹配器OmniGlue搞定未見(jiàn)過(guò)域
聯(lián)系作者
文章來(lái)源:機(jī)器之心
作者微信:almosthuman2014
作者簡(jiǎn)介:專(zhuān)業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)

粵公網(wǎng)安備 44011502001135號(hào)