原標(biāo)題：行人、車輛、動(dòng)物等ReID最新綜述！武大等全面總結(jié)Transformer方法 | IJCV 2024
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：7928字

Transformer在目標(biāo)重識(shí)別 (Re-ID) 領(lǐng)域的應(yīng)用綜述

本文總結(jié)了大學(xué)、中山大學(xué)和印第安納大學(xué)研究人員發(fā)表的關(guān)于Transformer在目標(biāo)重識(shí)別(Re-ID)領(lǐng)域應(yīng)用的綜述論文要點(diǎn)。該論文全面回顧了Transformer在Re-ID中的應(yīng)用，并提出了一個(gè)新的Transformer基線UntransReID。

1. Transformer在Re-ID領(lǐng)域的突破

傳統(tǒng)的Re-ID主要依賴卷積神經(jīng)網(wǎng)絡(luò)(CNN)，而近年來(lái)基于Transformer的Re-ID方法憑借其優(yōu)異性能打破了CNN的性能記錄，成為該領(lǐng)域的研究熱點(diǎn)。Transformer強(qiáng)大的注意力機(jī)制使其能夠有效地捕捉全局、局部和時(shí)空信息，從而在各種Re-ID任務(wù)中取得顯著成果。

2. Transformer在不同Re-ID任務(wù)中的應(yīng)用

該論文將現(xiàn)有的基于Transformer的Re-ID工作分為四個(gè)主要方向：

1. 圖像/視頻Re-ID: Transformer在圖像Re-ID中通過(guò)優(yōu)化架構(gòu)(例如金字塔結(jié)構(gòu)、層次聚合)和改進(jìn)注意力機(jī)制來(lái)捕捉局部區(qū)分性信息；在視頻Re-ID中，Transformer可用于后處理或構(gòu)建純Transformer架構(gòu)，以捕捉視頻序列中的長(zhǎng)期依賴關(guān)系。
2. 數(shù)據(jù)/標(biāo)注受限的Re-ID: Transformer的強(qiáng)大自監(jiān)督預(yù)訓(xùn)練能力使其能夠有效地處理數(shù)據(jù)或標(biāo)注受限的Re-ID任務(wù)，例如無(wú)監(jiān)督Re-ID和領(lǐng)域泛化Re-ID。
3. 跨模態(tài)Re-ID: Transformer的統(tǒng)一架構(gòu)使其能夠有效處理不同模態(tài)的數(shù)據(jù)(例如可見(jiàn)光-紅外、文本-圖像、素描-圖像)，并建立模態(tài)間的關(guān)聯(lián)，促進(jìn)多模態(tài)信息的融合。
4. 特殊Re-ID場(chǎng)景: Transformer在處理遮擋Re-ID、換衣Re-ID、以人為中心的Re-ID、行人檢索、群體Re-ID和無(wú)人機(jī)Re-ID等特殊場(chǎng)景中也展現(xiàn)了其強(qiáng)大的適應(yīng)性和可擴(kuò)展性。

3. UntransReID: 一個(gè)新的Transformer基線

研究人員提出了一個(gè)新的無(wú)監(jiān)督Re-ID基線UntransReID，該基線在單模態(tài)和跨模態(tài)任務(wù)上都實(shí)現(xiàn)了最先進(jìn)的性能。UntransReID在無(wú)監(jiān)督訓(xùn)練過(guò)程中設(shè)計(jì)了面向patch級(jí)別的mask增強(qiáng)策略，并針對(duì)跨模態(tài)Re-ID設(shè)計(jì)了雙流Transformer結(jié)構(gòu)。

4. 動(dòng)物Re-ID的標(biāo)準(zhǔn)化基準(zhǔn)測(cè)試

論文還關(guān)注了尚未充分探索的動(dòng)物Re-ID領(lǐng)域。研究人員設(shè)計(jì)了一個(gè)標(biāo)準(zhǔn)化的基準(zhǔn)測(cè)試，并進(jìn)行了廣泛的實(shí)驗(yàn)，證明了Transformer在動(dòng)物Re-ID中的巨大潛力。

5. 未來(lái)展望

論文最后展望了Re-ID未來(lái)的研究方向，包括Re-ID與大語(yǔ)言模型(LLM)的結(jié)合、通用Re-ID大模型的構(gòu)建以及面向高效部署的Transformer優(yōu)化等。

總而言之，這篇論文為基于Transformer的Re-ID研究提供了全面的回顧和深入分析，并為未來(lái)的研究提供了有價(jià)值的指導(dǎo)。

聯(lián)系作者

文章來(lái)源：新智元
作者微信：
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。