無需3D數(shù)據(jù)也能訓(xùn)練,港科&港中文聯(lián)手華為推出3D自動駕駛場景生成模型
AIGC動態(tài)歡迎閱讀
原標題:無需3D數(shù)據(jù)也能訓(xùn)練,港科&港中文聯(lián)手華為推出3D自動駕駛場景生成模型
關(guān)鍵字:場景,華為,視角,數(shù)據(jù),方法
文章來源:量子位
內(nèi)容字數(shù):0字
內(nèi)容摘要:
允中 發(fā)自 凹非寺量子位 | 公眾號 QbitAI無需采集3D數(shù)據(jù),也能訓(xùn)練出高質(zhì)量的3D自動駕駛場景生成模型。
這是來自香港中文大學(xué)、香港科技大學(xué)和華為諾亞方舟實驗室的最新研究成果——針對自動駕駛街景的可控3D場景生成方法“MagicDrive3D”。
此前,采用常見的2D自動駕駛數(shù)據(jù)集來生成3D街景的方法不是沒有,但受采集角度所限,生成結(jié)果的可控性和幾何一致性無法同時滿足。而現(xiàn)在,MagicDrive3D通過結(jié)合可控生成與場景重建解決了這一限制。
不僅支持多條件控制,還突破了原始數(shù)據(jù)的局限,即使在原始圖像不一致的情況下,也能建立出連貫的高質(zhì)量模型。
即使場景中有很多物體,生成結(jié)果依然真實可靠:
而且支持天氣情況的文本控制,可以一鍵從晴天切換到雨天:
道路結(jié)構(gòu)、物置都能夠精確控制(隨機保留50%車):
還可以一鍵實現(xiàn)白天與夜晚的轉(zhuǎn)換(隨機保留25%車):
總之,這項成果解決了自動駕駛等無邊界場景下3D場景的高質(zhì)量模型開發(fā)難題,可以有效幫助BEV分割等下游感知任務(wù)。
常規(guī)駕駛數(shù)據(jù)即可實現(xiàn)可控場景生成3D自動駕駛場景生成應(yīng)用廣闊,然而目前3D資產(chǎn)的生成方法通常局限于以物體為中心的生成
原文鏈接:無需3D數(shù)據(jù)也能訓(xùn)練,港科&港中文聯(lián)手華為推出3D自動駕駛場景生成模型
聯(lián)系作者
文章來源:量子位
作者微信:QbitAI
作者簡介:追蹤人工智能新趨勢,關(guān)注科技行業(yè)新突破