首創pix2emb范式！NUS清華聯合發布NExT-Chat：對話/檢測/分割全能多模態大模型

AIGC動態歡迎閱讀

原標題：首創pix2emb范式！NUS清華聯合發布NExT-Chat：對話/檢測/分割全能多模態大模型
關鍵字：位置,模型,能力,任務,數據
文章來源：新智元
內容字數：10711字

內容摘要：

新智元報道編輯：LRS 好困
【新智元導讀】研究人員提出了一個全新的位置建模方式pix2emb，可以在多模態對話模型中指定位置輸入來回答問題。隨著ChatGPT的爆紅，多模態領域也涌現出一大批可以處理多種模態輸入的對話模型，如LLaVA, BLIP-2等等。
為了進一步擴展多模態大模型的區域理解能力，近期新加坡國立大學NExT++實驗室和清華大學的研究人員聯手打造了一個可以同時進行對話和檢測、分割的多模態模型NExT-Chat。作者：張傲，姚遠，吉煒，劉知遠，Chua Tat-Seng
多模態對話模型Demo：https://next-chatv.github.io/
論文：https://arxiv.org/pdf/2311.04498.pdf
代碼：https://github.com/NExT-ChatV/NExT-Chat文章探索了如何在多模態模型中引入位置輸入和輸出的能力。
其中，位置輸入能力指的是根據指定的區域回答問題，比如圖1中的左圖。
而位置輸出能力指的是定位對話中提及的物體，如圖1右圖的小熊定位。圖1：位置輸入和輸出示例
現有的方法主要通過pix2seq的方式進行L

原文鏈接：首創pix2emb范式！NUS清華聯合發布NExT-Chat：對話/檢測/分割全能多模態大模型

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。