自動駕駛不怵惡劣天氣，西電&上海AI Lab多模態(tài)融合檢測端到端算法來了 | NeurlPS Oral

AIGC動態(tài)歡迎閱讀

原標題：自動駕駛不怵惡劣天氣，西電&上海AI Lab多模態(tài)融合檢測端到端算法來了 | NeurlPS Oral
關鍵字：圖像,目標,任務,顯著特征,方法
文章來源：量子位
內容字數(shù)：0字

內容摘要：

E2E-MFD團隊投稿量子位 | 公眾號 QbitAI惡劣天氣下，自動駕駛汽車也能準確識別周圍物體了？！
西安電子科大、上海AI Lab等提出多模態(tài)融合檢測算法E2E-MFD，將圖像融合和目標檢測整合到一個單階段、端到端框架中，簡化訓練的同時，提升目標解析性能。
相關論文已入選頂會NeurlPS 2024 Oral，代碼、模型均已開源。
其中圖像融合是指，把不同來源（比如可見光和紅外相機）的圖像合并成一張，這樣就能在一張圖像中同時看到不同相機捕捉到的信息；目標檢測即找出并識別圖像中的物體。
端到端意味著，E2E-MFD算法可以一次性處理這兩個任務，簡化訓練過程。
而且，通過一種特殊的梯度矩陣任務對齊（GMTA）技術，這兩個任務還能互幫互助，互相優(yōu)化。
最終實驗結果顯示，E2E-MFD在信息傳遞、圖像質量、訓練時間和目標檢測方面均優(yōu)于現(xiàn)有方法。
E2E-MFD：多模態(tài)融合檢測端到端算法眾所周知，精確可靠的目標解析在自動駕駛和遙感監(jiān)測等領域至關重要。
僅依賴可見光傳感器可能會導致在惡劣天氣等復雜環(huán)境中的目標識別不準確。
可見光-紅外圖像融合作為一種典型的多模態(tài)融合（MF）任務，通過利用不

原文鏈接：自動駕駛不怵惡劣天氣，西電&上海AI Lab多模態(tài)融合檢測端到端算法來了 | NeurlPS Oral