LLaDA-V

LLaDA-V – 人大高瓴AI聯(lián)合螞蟻推出的多模態(tài)大模型

LLaDA-V是一款由中國(guó)人民大學(xué)高瓴人工智能學(xué)院與螞蟻集團(tuán)聯(lián)合開(kāi)發(fā)的多模態(tài)大語(yǔ)言模型（MLLM），其底層架構(gòu)基于純擴(kuò)散模型，專注于視覺(jué)指令的微調(diào)。該模型在原有的LLaDA基礎(chǔ)上，集成了視覺(jué)編碼器和多層感知器連接器，能夠?qū)⒁曈X(jué)特征有效映射到語(yǔ)言嵌入空間，促進(jìn)多模態(tài)的一致性和融合。

LLaDA-V是什么

LLaDA-V是由中國(guó)人民大學(xué)高瓴人工智能學(xué)院與螞蟻集團(tuán)共同推出的一款多模態(tài)大語(yǔ)言模型（MLLM）。該模型基于純擴(kuò)散模型架構(gòu)，專注于視覺(jué)指令的微調(diào)。通過(guò)引入視覺(jué)編碼器和多層感知器連接器，LLaDA-V能夠?qū)⒁曈X(jué)特征映射到語(yǔ)言嵌入空間，確保多模態(tài)信息的有效對(duì)齊。LLaDA-V在多模態(tài)理解方面表現(xiàn)出色，超越了現(xiàn)有的混合自回歸-擴(kuò)散和純擴(kuò)散模型。

LLaDA-V的主要功能

• 圖像描述生成：根據(jù)輸入的圖像生成詳盡的描述文本。
• 視覺(jué)問(wèn)答：針對(duì)圖像內(nèi)容提出問(wèn)題并給出答案。
• 多輪多模態(tài)對(duì)話：在給定圖像的背景下，進(jìn)行多輪對(duì)話，理解與圖像及對(duì)話歷史相關(guān)的回答。
• 復(fù)雜推理任務(wù)：處理圖像和文本結(jié)合的復(fù)合任務(wù)，比如解答與圖像相關(guān)的數(shù)學(xué)或邏輯問(wèn)題。

LLaDA-V的技術(shù)原理

• 擴(kuò)散模型：擴(kuò)散模型通過(guò)逐步去除噪聲生成數(shù)據(jù)。在LLaDA-V中采用掩碼擴(kuò)散模型，通過(guò)在句子中隨機(jī)掩碼一些詞（用特殊標(biāo)記[M]替代），訓(xùn)練模型預(yù)測(cè)原始掩碼詞的內(nèi)容。
• 視覺(jué)指令微調(diào)：該框架包括視覺(jué)塔和多層感知器連接器。視覺(jué)塔利用SigLIP 2模型將圖像轉(zhuǎn)化為視覺(jué)表示，而多層感知器連接器則將視覺(jué)表示映射到語(yǔ)言模型的詞嵌入空間，有效融合視覺(jué)特征與語(yǔ)言特征。
• 多階段訓(xùn)練策略：初始階段，訓(xùn)練多層感知器連接器以對(duì)齊視覺(jué)表示和語(yǔ)言嵌入；第二階段，對(duì)整個(gè)模型進(jìn)行微調(diào)以理解和遵循視覺(jué)指令；第三階段，進(jìn)一步提升模型的多模態(tài)推理能力，處理復(fù)雜的多模態(tài)推理任務(wù)。
• 雙向注意力機(jī)制：在多輪對(duì)話中，LLaDA-V采用雙向注意力機(jī)制，使模型在預(yù)測(cè)掩碼詞時(shí)能夠綜合考慮整個(gè)對(duì)話上下文，從而提升對(duì)話理解的連貫性和邏輯性。

LLaDA-V的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://ml-gsai.github.io/LLaDA-V
• GitHub倉(cāng)庫(kù)：https://github.com/ML-GSAI/LLaDA-V
• arXiv技術(shù)論文：https://arxiv.org/pdf/2505.16933

LLaDA-V的應(yīng)用場(chǎng)景

• 圖像描述生成：自動(dòng)為圖像生成詳細(xì)描述，幫助用戶理解圖像內(nèi)容。
• 視覺(jué)問(wèn)答：解答與圖像相關(guān)的問(wèn)題，適用于教育、旅游等多個(gè)領(lǐng)域。
• 多輪對(duì)話：在智能客服、虛擬助手等場(chǎng)景中進(jìn)行多輪多模態(tài)對(duì)話。
• 復(fù)雜推理：處理涉及圖像和文本的復(fù)雜推理任務(wù)，例如數(shù)學(xué)問(wèn)題的解答。
• 多圖像與視頻理解：分析多個(gè)圖像和視頻內(nèi)容，適用于視頻分析和監(jiān)控等應(yīng)用。

常見(jiàn)問(wèn)題

• LLaDA-V適合哪些行業(yè)？：該模型廣泛應(yīng)用于教育、旅游、智能客服、視頻分析等多個(gè)領(lǐng)域。
• 如何訪問(wèn)LLaDA-V的資源？：用戶可以通過(guò)官網(wǎng)和GitHub鏈接訪問(wèn)相關(guān)資源。
• LLaDA-V的技術(shù)支持如何獲取？：用戶可以通過(guò)項(xiàng)目的GitHub頁(yè)面提出問(wèn)題和獲取支持。