NeurIPS 2024收錄!港科大&上海AI Lab提出高質(zhì)量可控的自動駕駛世界模型Vista | 一作高深遠(yuǎn)博士主講預(yù)告

AIGC動態(tài)歡迎閱讀
原標(biāo)題:NeurIPS 2024收錄!港科大&上海AI Lab提出高質(zhì)量可控的自動駕駛世界模型Vista | 一作高深遠(yuǎn)博士主講預(yù)告
關(guān)鍵字:模型,世界,數(shù)據(jù),保真度,論文
文章來源:智猩猩GenAI
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
世界模型被業(yè)內(nèi)認(rèn)為是通往自動駕駛的唯一解。世界模型是真實世界的模擬,可以根據(jù)控制指令預(yù)測對應(yīng)的未來并反饋給決策過程,從而有效地幫助智能體的訓(xùn)練和測試。
上海人工智能實驗室OpenDriveLab聯(lián)合香港科技大學(xué)等研究人員構(gòu)建了迄今為止最大的公共駕駛數(shù)據(jù)集OpenDV-2K,其中包含超過2000小時的駕駛視頻,比廣泛使用的nuScenes數(shù)據(jù)集大374倍。基于OpenDV-2K還構(gòu)建了自動駕駛領(lǐng)域中第一個大規(guī)模視頻預(yù)測模型GenAD。該模型通過新穎的時間推理模塊處理駕駛場景中的挑戰(zhàn)性動態(tài)情況,超越了一般或駕駛特定的視頻預(yù)測模型,在真實世界駕駛應(yīng)用中的巨大潛力。與GenAD相關(guān)的論文收錄于CVPR 2024 Highlight。
此外,針對現(xiàn)有的駕駛世界模型在泛化到未見環(huán)境、關(guān)鍵細(xì)節(jié)的預(yù)測保真度以及靈活應(yīng)用的動作可控性方面存在的局限性。香港科技大合上海人工智能實驗室OpenDriveLab等研究人員又提出一種高質(zhì)量可控的通用自動駕駛世界模型Vista。與Vista相關(guān)的論文收錄于NeurIPS 2024。Vista能夠在高時空分辨率下預(yù)測逼真的未來,通過捕捉動態(tài)和保持結(jié)構(gòu)的兩種新?lián)p失函
原文鏈接:NeurIPS 2024收錄!港科大&上海AI Lab提出高質(zhì)量可控的自動駕駛世界模型Vista | 一作高深遠(yuǎn)博士主講預(yù)告
聯(lián)系作者
文章來源:智猩猩GenAI
作者微信:
作者簡介:

粵公網(wǎng)安備 44011502001135號