中科院聯合美團推出的交互式駕駛世界模型數據集

產品名稱：DrivingDojo
產品簡介：DrivingDojo是中國科學院自動化研究所與美團無人車團隊合作推出的數據集，用在訓練和研究復雜的自動駕駛交互式世界模型。數據集包含18，000個視頻片段，覆蓋完整的駕駛操作、多智能體交互以及豐富的開放世界駕駛知識，為開發下一代自動駕駛模型提供了堅實的基礎。
詳細介紹：

DrivingDojo是什么

DrivingDojo是中國科學院自動化研究所與美團無人車團隊合作推出的數據集，用在訓練和研究復雜的自動駕駛交互式世界模型。數據集包含18，000個視頻片段，覆蓋完整的駕駛操作、多智能體交互以及豐富的開放世界駕駛知識，為開發下一代自動駕駛模型提供了堅實的基礎。DrivingDojo定義了動作指令跟隨（AIF）基準，用在評估世界模型在執行動作控制的未來預測方面的能力。

DrivingDojo的主要功能

• 交互式世界模型訓練：DrivingDojo提供一個平臺，用在訓練理解和模擬復雜駕駛動態的交互式世界模型。
• 動作指令跟隨（AIF）：數據集定義AIF基準，評估世界模型在遵循動作指令生成未來預測的能力。
• 多樣化駕駛操作：基于DrivingDojo-Action子集，模型學習加速、減速、緊急制動和車道變換等多樣化的駕駛操作。
• 多智能體交互：用DrivingDojo-Interplay子集，模型能理解和預測車輛與其他道路使用者之間的復雜交互。
• 開放世界知識：用DrivingDojo-Open子集，模型學習處理開放世界中的罕見和長尾場景。
• 視頻生成與預測：模型基于初始幀和動作指令生成未來的視頻，模擬和預測駕駛場景。

DrivingDojo的技術原理

• 數據收集：用美團無人車團隊的自動駕駛車輛平臺收集視頻數據，。
• 數據策劃：從大量收集的數據中精選出包含豐富駕駛操作、多智能體交互和開放世界知識的視頻片段。
• 動作編碼：將駕駛動作（如加速、制動、轉向）編碼為模型能理解的格式，方便在視頻生成中使用。
• 視頻生成模型：基于如Stable Video Diffusion等技術，開發從初始幀和動作指令生成視頻的模型。
• 動作指令跟隨（AIF）：比較生成視頻與輸入動作指令的一致性，評估模型的預測準確性。
• 評估指標：用FID（Frechet Inception Distance）和FVD（Frechet Video Distance）等指標評估生成視頻的視覺質量，用AIF錯誤評估動作指令的跟隨能力。

DrivingDojo的項目地址

• 項目官網：drivingdojo.github.io
• GitHub倉庫：https://github.com/Robertwyq/Drivingdojo
• HuggingFace模型庫：https://huggingface.co/datasets/Yuqi1997/DrivingDojo
• arXiv技術論文：https://arxiv.org/pdf/2410.10738

DrivingDojo的應用場景

• 自動駕駛算法開發：研究人員開發和測試自動駕駛車輛的感知、預測和決策算法。
• 世界模型訓練：數據集用在訓練模擬真實世界駕駛環境的交互式世界模型，模型能預測未來的狀態和可能的。
• 多智能體交互模擬：模擬車輛與其他道路使用者（如行人、自行車、其他車輛）之間的交互，優化自動駕駛車輛的交互策略。
• 罕見和長尾場景處理：訓練模型識別和響應罕見，如動物突然橫穿道路或道路上的障礙物，提高自動駕駛系統的安全性。
• 虛擬測試和驗證：在虛擬環境中測試自動駕駛系統，減少實車測試的成本和風險，加速開發流程。