LMDrive: 大語言模型加持的閉環端到端自動駕駛框架

AIGC動態歡迎閱讀

原標題：LMDrive: 大語言模型加持的閉環端到端自動駕駛框架
關鍵字：指令,數據,語言,模型,視覺
文章來源：算法邦
內容字數：10820字

內容摘要：

直播預告 | 1月22日晚7點，「自動駕駛新青年講座」第35講正式開講，LMDrive一作、香港中文大學MMLab在讀博士邵昊將主講《LMDrive：大語言模型加持的閉環端到端自動駕駛框架》，歡迎掃名~本文轉載自公眾號：PaperWeekly，原作者：OpenDILab。01引言▲圖1.LMDrive 框架功能概覽圖
說明：LMDrive 接收語言指令和多模態多視角的傳感器數據作為輸入，并實時輸出決策控制信號，以應對各種各樣復雜的駕駛場景。
大語言模型（Large Language Model，LLM）可謂是 2023 年最火熱也最重要的人工智能子領域，在各類機器學習任務中都展現出了驚艷的效果，相關的上下游應用也都發展得十分迅速。而將大語言模型應用在自動駕駛領域也有一些優秀的研究成果，但這些工作主要集中于開環場景的模型設計和實驗驗證，缺少基于閉環場景和端到端的自動駕駛工作。
為了進一步探索大語言模型和自動駕駛結合的研究潛力，來自香港中文大學，商湯科技，以及上海人工智能實驗室（OpenDILab 團隊）等機構的研究者們提出了第一個利用大語言模型進行閉環端到端自動駕駛的工作，結合自然語

原文鏈接：LMDrive: 大語言模型加持的閉環端到端自動駕駛框架

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關注大模型、生成式AI、計算機視覺三大領域的研究與開發，提供技術文章、講座、在線研討會。