AIGC動態歡迎閱讀

原標題：馬毅LeCun謝賽寧曝出多模態LLM重大缺陷！開創性研究顯著增強視覺理解能力
關鍵字：視覺,模型,特征,能力,研究人員
文章來源：新智元
內容字數：6949字

內容摘要：

新智元報道編輯：潤 好困
【新智元導讀】來自紐約大學和UC伯克利的研究團隊成功捕捉到了多模態大模型在視覺理解方面存在的重大缺陷。針對這個問題，他們進一步提出了一個將DINOv2特征與CLIP特征結合的方法，有效地提升了多模態大模型的視覺功能。Sam Altman在各種場合都提到，大語言模型的多模態能力，是未來AI技術能夠造福人類的最亟待突破的領域。
那么現在在多模態大模型的視覺功能能否達到與語言功能匹配的水平？
當前多模態模型取得的進步很大程度上歸功于大語言模型（LLM）的推理能力。但在視覺方面，模型往往只基于實例級別的對比語言-圖像預訓練（CLIP）。
最近，來自紐約大學和UC伯克利的團隊研究表明，多模態大語言模型（MLLM）在視覺處理方面仍存在普遍性的缺陷。
其中，團隊成員堪稱「豪華」，除了領隊謝賽寧外，共同參與還有馬毅和LeCun兩位大佬。
論文地址：https://arxiv.org/abs/2401.06209
開源項目：https://github.com/tsb0601/MMVP
在一些特殊場景之下，很多MLLM對于圖像內容識別能力甚至不如隨機瞎猜。
在很多人類能夠輕易

原文鏈接：馬毅LeCun謝賽寧曝出多模態LLM重大缺陷！開創性研究顯著增強視覺理解能力

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。