ICRA 2025｜清華x光輪：自駕世界模型生成和理解事故場景

可以描述事故發生過程并提供預防建議

原標題：ICRA 2025｜清華x光輪：自駕世界模型生成和理解事故場景
文章來源：機器之心
內容字數：4528字

光輪智能AVD2框架：提升自動駕駛事故場景理解與安全能力

近年來，自動駕駛技術飛速發展，但復雜交通環境下的事故理解和預防仍是巨大挑戰。針對這一問題，光輪智能（Lightwheel）聯合清華大學、香港科技大學等高校的研究團隊，提出了創新的AVD2 (Accident Video Diffusion for Accident Video Description) 框架，旨在提升自動駕駛系統對事故場景的理解和安全能力。

AVD2框架概述
AVD2 框架包含視頻生成和事故分析兩大部分。通過生成與自然語言描述高度一致的事故視頻，并結合自然語言解釋，AVD2能夠更深入地理解事故場景。該框架還貢獻了EMM-AU數據集，以推動事故分析和預防研究。
視頻生成模塊
AVD2利用Open-Sora 1.2模型，通過兩階段微調優化：第一階段基于MM-AU數據集進行預訓練，第二階段利用2000個詳細事故場景視頻進行微調，確保生成視頻與真實場景高度一致。此外，還使用RRDBNet模型進行超分辨率處理，提升視頻質量。
事故分析模塊
事故分析模塊結合視頻理解和自然語言處理技術，完成車輛行為描述和原因分析（以及規避方法）兩個任務。利用Vision-Language Transformer進行多任務學習，生成描述車輛動作的句子，解釋動作原因并提出規避建議。多任務學習方法增強了描述與推理之間的關聯性，提高了整體性能。
模型架構與關鍵技術
AVD2采用SwinBERT處理輸入視頻，生成視頻特征，并輸入到不同的任務模塊進行預測和描述生成。SCST（自我批判序列訓練）機制用于優化生成文本質量。生成和分析模塊緊密配合，提升了系統的透明度和可解釋性。
實驗結果與可視化
實驗結果顯示，AVD2在多種評測指標上優于ADAPT框架。可視化結果展示了AVD2對事故場景的分析能力，例如識別車輛變道未打轉向燈、車速過快等危險行為。
未來展望
團隊計劃進一步優化AVD2框架，并將其應用于光輪智能的端到端自動駕駛應用中，促進自動駕駛技術在產業界的安全落地。

總而言之，AVD2框架通過結合視頻生成和事故分析技術，為提升自動駕駛系統的事故理解和預防能力提供了新的思路和方法，其在提高自動駕駛安全性方面具有重要意義。