OpenEMMA

OpenEMMA – 德克薩斯聯合多倫多等大學開源的端到端自動駕駛多模態模型

OpenEMMA是什么

OpenEMMA是由德州農工大學、密歇根大學和多倫多大合開發的開源端到端自動駕駛多模態模型框架。該框架基于預訓練的多模態大型語言模型（MLLMs），能夠高效處理視覺數據并進行復雜的駕駛場景推理。通過采用鏈式思維推理方法，OpenEMMA顯著提升了模型在軌跡規劃和感知任務中的性能，同時結合了經過優化的YOLO模型，以提高3D邊界框預測的精度。OpenEMMA為研究和開發提供了一個強大的平臺，助力自動駕駛技術的前沿發展。

OpenEMMA的主要功能

• 端到端軌跡規劃：該框架可以直接從傳感器輸入中學習駕駛行為，實現從感知到決策的全面優化，完全無需符號化接口。
• 多模態數據處理：OpenEMMA處理來自前向攝像頭的圖像和文本歷史的ego車輛狀態，將駕駛任務轉化為視覺問答（VQA）問題進行解決。
• 鏈式思維推理：框架采用鏈式思維推理過程，指導模型生成關于關鍵對象的詳細描述、行為分析及元駕駛決策。
• 3D對象檢測：通過集成優化后的YOLO模型，OpenEMMA能夠精確識別3D空間中的對象，從而提升對象檢測的準確性。
• 人類可讀輸出：基于預存世界知識的MLLM，OpenEMMA能夠為場景理解等感知任務生成可解釋、易于理解的輸出結果。

OpenEMMA的技術原理

• 預訓練的MLLMs：利用預訓練的多模態大型語言模型，OpenEMMA能夠有效處理復雜的視覺數據并推理駕駛場景。
• 鏈式思維推理過程：基于鏈式思維推理，模型可以生成速度向量和曲率向量，這些向量用于計算車輛的未來行駛軌跡。
• 速度和曲率向量：在獲取速度和曲率向量后，模型將整合每個時間步的航向角，然后計算速度的x和y分量，最后通過積分速度分量來計算最終的行駛軌跡。
• 對象檢測增強：為克服MLLM在空間推理上的局限，框架集成了專門用于3D邊界框預測的YOLO模型。
• 端到端規劃與推理：OpenEMMA采用基于指令的方法，指導MLLM生成易于理解的知識，將軌跡生成任務分解為人類可解釋的組成部分，以反映真實的駕駛過程。

OpenEMMA的項目地址

• GitHub倉庫：https://github.com/taco-group/OpenEMMA
• arXiv技術論文：https://arxiv.org/pdf/2412.15208

OpenEMMA的應用場景

• 城市道路駕駛：在復雜的城市交通中，OpenEMMA能夠處理多變的交通信號、行人、自行車及其他車輛，為自動駕駛車輛提供實時的決策支持與軌跡規劃。
• 高速公路駕駛：在高速公路上，該框架可處理高速行駛中的車輛，支持車道保持、超車和避障等操作決策。
• 停車和低速駕駛：在停車場或低速環境中，OpenEMMA幫助自動駕駛車輛執行精確的停車操作，能夠有效避免障礙物，在狹小空間中靈活導航。
• 夜間駕駛：在低光照條件下，OpenEMMA仍能正常工作，提供夜間駕駛的決策支持，包括對象檢測和軌跡規劃。
• 復雜天氣條件：在雨、霧等惡劣天氣下，OpenEMMA能夠輔助自動駕駛車輛確保安全行駛，減少天氣對駕駛的影響。

常見問題

• OpenEMMA的主要優勢是什么？ OpenEMMA通過鏈式思維推理和多模態數據處理，顯著提高了自動駕駛任務的準確性和效率。
• 如何獲取OpenEMMA？ 用戶可以通過訪問GitHub倉庫下載和使用OpenEMMA。
• OpenEMMA適用于哪些類型的車輛？ OpenEMMA可應用于各種自動駕駛車輛，特別是在城市、高速公路和復雜環境中表現優異。
• OpenEMMA的技術支持如何獲取？ 用戶可以在GitHub倉庫中查找相關文檔，也可以通過社區論壇與其他開發者交流獲取支持。