自動駕駛不怵惡劣天氣，西電&上海AI Lab多模態融合檢測端到端算法來了 | NeurlPS Oral

AIGC動態歡迎閱讀

原標題：自動駕駛不怵惡劣天氣，西電&上海AI Lab多模態融合檢測端到端算法來了 | NeurlPS Oral
關鍵字：圖像,目標,任務,顯著特征,方法
文章來源：量子位
內容字數：0字

內容摘要：

E2E-MFD團隊投稿量子位 | 公眾號 QbitAI惡劣天氣下，自動駕駛汽車也能準確識別周圍物體了？！
西安電子科大、上海AI Lab等提出多模態融合檢測算法E2E-MFD，將圖像融合和目標檢測整合到一個單階段、端到端框架中，簡化訓練的同時，提升目標解析性能。
相關論文已入選頂會NeurlPS 2024 Oral，代碼、模型均已開源。
其中圖像融合是指，把不同來源（比如可見光和紅外相機）的圖像合并成一張，這樣就能在一張圖像中同時看到不同相機捕捉到的信息；目標檢測即找出并識別圖像中的物體。
端到端意味著，E2E-MFD算法可以一次性處理這兩個任務，簡化訓練過程。
而且，通過一種特殊的梯度矩陣任務對齊（GMTA）技術，這兩個任務還能互幫互助，互相優化。
最終實驗結果顯示，E2E-MFD在信息傳遞、圖像質量、訓練時間和目標檢測方面均優于現有方法。
E2E-MFD：多模態融合檢測端到端算法眾所周知，精確可靠的目標解析在自動駕駛和遙感監測等領域至關重要。
僅依賴可見光傳感器可能會導致在惡劣天氣等復雜環境中的目標識別不準確。
可見光-紅外圖像融合作為一種典型的多模態融合（MF）任務，通過利用不

原文鏈接：自動駕駛不怵惡劣天氣，西電&上海AI Lab多模態融合檢測端到端算法來了 | NeurlPS Oral