突破視覺界限：MetaMorph模型引領理解與生成的未來

視覺理解與生成可以互惠互利，而不是相互對立。

原標題：統(tǒng)一視覺理解與生成，MetaMorph模型問世，LeCun、謝賽寧、劉壯等參與
文章來源：機器之心
內容字數(shù)：11683字

多模態(tài)大模型的進展與研究成果

隨著多模態(tài)大模型（MLLM）在視覺理解領域的快速發(fā)展，研究者們正在探索如何通過微調大語言模型（LLM）來生成同樣有效的視覺信息。Meta與紐約大學的合作研究，揭示了LLM具有豐富的視覺知識，可以通過視覺指令調整方法（VPiT）實現(xiàn)視覺生成。

1. 研究背景

該研究的論文名為《MetaMorph: Multimodal Understanding and Generation via Instruction Tuning》，由AI領域知名學者參與。研究者們希望檢查LLM在視覺理解與生成方面的潛力，尤其是通過少量數(shù)據(jù)的微調來激活其視覺功能。

2. 視覺預測指令調整（VPiT）

VPiT是一種擴展現(xiàn)有指令調整方法的新技術，旨在讓LLM同時生成文本和視覺token。其通過預訓練的視覺編碼器嵌入和文本token作為輸入，輸出連續(xù)視覺token和離散文本token。研究表明，理解視覺輸入的能力與生成能力密切相關，且只需極少的額外訓練。

3. 實驗成果

研究者通過聯(lián)合訓練視覺理解和生成數(shù)據(jù)，發(fā)現(xiàn)理解數(shù)據(jù)的增加顯著提升了模型的視覺生成能力。相較于單獨使用生成數(shù)據(jù)，視覺理解數(shù)據(jù)的輔助作用更為顯著，顯示出視覺生成并非能力，而是相互依存的。

4. MetaMorph模型的表現(xiàn)

MetaMorph模型在多個視覺理解和生成基準上表現(xiàn)出競爭力，能有效利用LLM內在的知識生成高質量視覺token。此外，該模型在生成視覺token時能隱式執(zhí)行推理，體現(xiàn)了其在復雜任務中的能力。

5. 結論與啟示

研究表明，使用指令調整訓練統(tǒng)一模型是可行的，LLM的視覺功能在少量樣本條件下也能被激活。這為未來的多模態(tài)模型開發(fā)提供了重要的見解，強調了理解數(shù)據(jù)在提升模型整體性能中的關鍵作用。

聯(lián)系作者

文章來源：機器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產業(yè)服務平臺