LMDrive: 大語言模型加持的閉環(huán)端到端自動駕駛框架

AIGC動態(tài)歡迎閱讀

原標(biāo)題：LMDrive: 大語言模型加持的閉環(huán)端到端自動駕駛框架
關(guān)鍵字：指令,數(shù)據(jù),語言,模型,視覺
文章來源：算法邦
內(nèi)容字?jǐn)?shù)：10820字

內(nèi)容摘要：

直播預(yù)告 | 1月22日晚7點，「自動駕駛新青年講座」第35講正式開講，LMDrive一作、香港中文大學(xué)MMLab在讀博士邵昊將主講《LMDrive：大語言模型加持的閉環(huán)端到端自動駕駛框架》，歡迎掃名~本文轉(zhuǎn)載自公眾號：PaperWeekly，原作者：OpenDILab。01引言▲圖1.LMDrive 框架功能概覽圖
說明：LMDrive 接收語言指令和多模態(tài)多視角的傳感器數(shù)據(jù)作為輸入，并實時輸出決策控制信號，以應(yīng)對各種各樣復(fù)雜的駕駛場景。
大語言模型（Large Language Model，LLM）可謂是 2023 年最火熱也最重要的人工智能子領(lǐng)域，在各類機器學(xué)習(xí)任務(wù)中都展現(xiàn)出了驚艷的效果，相關(guān)的上下游應(yīng)用也都發(fā)展得十分迅速。而將大語言模型應(yīng)用在自動駕駛領(lǐng)域也有一些優(yōu)秀的研究成果，但這些工作主要集中于開環(huán)場景的模型設(shè)計和實驗驗證，缺少基于閉環(huán)場景和端到端的自動駕駛工作。
為了進一步探索大語言模型和自動駕駛結(jié)合的研究潛力，來自香港中文大學(xué)，商湯科技，以及上海人工智能實驗室（OpenDILab 團隊）等機構(gòu)的研究者們提出了第一個利用大語言模型進行閉環(huán)端到端自動駕駛的工作，結(jié)合自然語

原文鏈接：LMDrive: 大語言模型加持的閉環(huán)端到端自動駕駛框架

聯(lián)系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關(guān)注大模型、生成式AI、計算機視覺三大領(lǐng)域的研究與開發(fā)，提供技術(shù)文章、講座、在線研討會。