大模型+自動駕駛=？普渡大學等最新《自動駕駛領域多模態大型語言模型》綜述

AIGC動態歡迎閱讀

原標題：大模型+自動駕駛=？普渡大學等最新《自動駕駛領域多模態大型語言模型》綜述

關鍵字：報告,模型,語言,系統,能力

文章來源：人工智能學家

內容字數：11533字

內容摘要：來源：專知隨著大型語言模型（LLMs）和視覺基礎模型（VFMs）的出現，利用大型模型的多模態AI系統有潛力像人類一樣感知現實世界、做出決策和控制工具。近幾個月來，LLMs在自動駕駛和地圖系統中顯示出廣泛的關注。盡管潛力巨大，但對關鍵挑戰、機會和未來應用于LLM駕駛系統的努力仍缺乏全面理解。在這篇論文中，我們對這一領域進行了系統性的研究。我們首先介紹多模態大型語言模型（MLLMs）的背景、使用LLMs的多模態模型開發以及自動駕駛的歷史。然后，我們概述了現有的MLLM工具，用于駕駛、交通和地圖系統，以及現有的數據集和基準測試。此外，我們總結了第一屆WACV關于自動駕駛的大型語言和視覺模型研討會（LLVM-AD）的工作，這是首個關于自動駕駛中LLMs的綜述。為了進一步推動這一領域的發展，我們還討論了在自動駕駛系統中使用MLLMs需要由學術界和工業界解決的幾個重要問題。論文集可以在Awesome-…

原文鏈接：點此閱讀原文：大模型+自動駕駛=？普渡大學等最新《自動駕駛領域多模態大型語言模型》綜述

聯系作者

文章來源：人工智能學家

作者微信：AItists

作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構