中科院聯(lián)合美團推出的交互式駕駛世界模型數(shù)據(jù)集

產(chǎn)品名稱：DrivingDojo
產(chǎn)品簡介：DrivingDojo是中國科學院自動化研究所與美團無人車團隊合作推出的數(shù)據(jù)集，用在訓練和研究復雜的自動駕駛交互式世界模型。數(shù)據(jù)集包含18，000個視頻片段，覆蓋完整的駕駛操作、多智能體交互以及豐富的開放世界駕駛知識，為開發(fā)下一代自動駕駛模型提供了堅實的基礎(chǔ)。
詳細介紹：

DrivingDojo是什么

DrivingDojo是中國科學院自動化研究所與美團無人車團隊合作推出的數(shù)據(jù)集，用在訓練和研究復雜的自動駕駛交互式世界模型。數(shù)據(jù)集包含18，000個視頻片段，覆蓋完整的駕駛操作、多智能體交互以及豐富的開放世界駕駛知識，為開發(fā)下一代自動駕駛模型提供了堅實的基礎(chǔ)。DrivingDojo定義了動作指令跟隨（AIF）基準，用在評估世界模型在執(zhí)行動作控制的未來預測方面的能力。

DrivingDojo的主要功能

• 交互式世界模型訓練：DrivingDojo提供一個平臺，用在訓練理解和模擬復雜駕駛動態(tài)的交互式世界模型。
• 動作指令跟隨（AIF）：數(shù)據(jù)集定義AIF基準，評估世界模型在遵循動作指令生成未來預測的能力。
• 多樣化駕駛操作：基于DrivingDojo-Action子集，模型學習加速、減速、緊急制動和車道變換等多樣化的駕駛操作。
• 多智能體交互：用DrivingDojo-Interplay子集，模型能理解和預測車輛與其他道路使用者之間的復雜交互。
• 開放世界知識：用DrivingDojo-Open子集，模型學習處理開放世界中的罕見和長尾場景。
• 視頻生成與預測：模型基于初始幀和動作指令生成未來的視頻，模擬和預測駕駛場景。

DrivingDojo的技術(shù)原理

• 數(shù)據(jù)收集：用美團無人車團隊的自動駕駛車輛平臺收集視頻數(shù)據(jù)，。
• 數(shù)據(jù)策劃：從大量收集的數(shù)據(jù)中精選出包含豐富駕駛操作、多智能體交互和開放世界知識的視頻片段。
• 動作編碼：將駕駛動作（如加速、制動、轉(zhuǎn)向）編碼為模型能理解的格式，方便在視頻生成中使用。
• 視頻生成模型：基于如Stable Video Diffusion等技術(shù)，開發(fā)從初始幀和動作指令生成視頻的模型。
• 動作指令跟隨（AIF）：比較生成視頻與輸入動作指令的一致性，評估模型的預測準確性。
• 評估指標：用FID（Frechet Inception Distance）和FVD（Frechet Video Distance）等指標評估生成視頻的視覺質(zhì)量，用AIF錯誤評估動作指令的跟隨能力。

DrivingDojo的項目地址

• 項目官網(wǎng)：drivingdojo.github.io
• GitHub倉庫：https://github.com/Robertwyq/Drivingdojo
• HuggingFace模型庫：https://huggingface.co/datasets/Yuqi1997/DrivingDojo
• arXiv技術(shù)論文：https://arxiv.org/pdf/2410.10738

DrivingDojo的應用場景

• 自動駕駛算法開發(fā)：研究人員開發(fā)和測試自動駕駛車輛的感知、預測和決策算法。
• 世界模型訓練：數(shù)據(jù)集用在訓練模擬真實世界駕駛環(huán)境的交互式世界模型，模型能預測未來的狀態(tài)和可能的。
• 多智能體交互模擬：模擬車輛與其他道路使用者（如行人、自行車、其他車輛）之間的交互，優(yōu)化自動駕駛車輛的交互策略。
• 罕見和長尾場景處理：訓練模型識別和響應罕見，如動物突然橫穿道路或道路上的障礙物，提高自動駕駛系統(tǒng)的安全性。
• 虛擬測試和驗證：在虛擬環(huán)境中測試自動駕駛系統(tǒng)，減少實車測試的成本和風險，加速開發(fā)流程。