AIGC動態(tài)歡迎閱讀

原標(biāo)題：自動駕駛不怵惡劣天氣，西電&上海AI Lab多模態(tài)融合檢測端到端算法來了 | NeurlPS Oral
關(guān)鍵字：圖像,目標(biāo),任務(wù),顯著特征,方法
文章來源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

E2E-MFD團(tuán)隊 投稿量子位 | 公眾號 QbitAI惡劣天氣下，自動駕駛汽車也能準(zhǔn)確識別周圍物體了？！
西安電子科大、上海AI Lab等提出多模態(tài)融合檢測算法E2E-MFD，將圖像融合和目標(biāo)檢測整合到一個單階段、端到端框架中，簡化訓(xùn)練的同時，提升目標(biāo)解析性能。
相關(guān)論文已入選頂會NeurlPS 2024 Oral，代碼、模型均已開源。
其中圖像融合是指，把不同來源（比如可見光和紅外相機(jī)）的圖像合并成一張，這樣就能在一張圖像中同時看到不同相機(jī)捕捉到的信息；目標(biāo)檢測即找出并識別圖像中的物體。
端到端意味著，E2E-MFD算法可以一次性處理這兩個任務(wù)，簡化訓(xùn)練過程。
而且，通過一種特殊的梯度矩陣任務(wù)對齊（GMTA）技術(shù)，這兩個任務(wù)還能互幫互助，互相優(yōu)化。
最終實驗結(jié)果顯示，E2E-MFD在信息傳遞、圖像質(zhì)量、訓(xùn)練時間和目標(biāo)檢測方面均優(yōu)于現(xiàn)有方法。
E2E-MFD：多模態(tài)融合檢測端到端算法眾所周知，精確可靠的目標(biāo)解析在自動駕駛和遙感監(jiān)測等領(lǐng)域至關(guān)重要。
僅依賴可見光傳感器可能會導(dǎo)致在惡劣天氣等復(fù)雜環(huán)境中的目標(biāo)識別不準(zhǔn)確。
可見光-紅外圖像融合作為一種典型的多模態(tài)融合（MF）任務(wù)，通過利用不

原文鏈接：自動駕駛不怵惡劣天氣，西電&上海AI Lab多模態(tài)融合檢測端到端算法來了 | NeurlPS Oral

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：