UniToken – 復(fù)旦聯(lián)合美團(tuán)等機(jī)構(gòu)推出的統(tǒng)一視覺(jué)編碼框架

UniToken 是一種創(chuàng)新的自回歸生成模型，專為多模態(tài)理解與生成任務(wù)而設(shè)計(jì)。它通過(guò)結(jié)合離散與連續(xù)的視覺(jué)表示，構(gòu)建了一種統(tǒng)一的視覺(jué)編碼框架，能夠同時(shí)捕捉圖像的高級(jí)語(yǔ)義與低級(jí)細(xì)節(jié)。這使得 UniToken 可以無(wú)縫地支持視覺(jué)理解與圖像生成任務(wù)，為各種應(yīng)用提供豐富的信息。

UniToken是什么

UniToken 是一種前沿的自回歸生成模型，旨在滿足多模態(tài)理解與生成的需求。通過(guò)結(jié)合離散和連續(xù)的視覺(jué)表示，UniToken 構(gòu)建了一種統(tǒng)一的視覺(jué)編碼框架，能夠同時(shí)捕捉圖像的高級(jí)語(yǔ)義與細(xì)節(jié)。這一特性使得 UniToken 可以高效地完成視覺(jué)理解與圖像生成任務(wù)，提供多維度的信息支持。

UniToken的主要功能

• 圖文理解：UniToken 能夠高效處理圖文理解任務(wù)，如圖像字幕生成和視覺(jué)問(wèn)答（VQA）。
• 圖像生成：UniToken 支持高質(zhì)量的圖像生成，包括根據(jù)文本描述創(chuàng)建圖像、圖像編輯以及故事生成等功能。
• 多模態(tài)對(duì)話：在多模態(tài)對(duì)話場(chǎng)景中，UniToken 可以基于輸入的文本和圖像信息生成自然的語(yǔ)言回復(fù)，支持更復(fù)雜的交互任務(wù)，例如解釋圖像內(nèi)容或根據(jù)圖像和文本指令生成新圖像。
• 復(fù)雜指令執(zhí)行：通過(guò)指令強(qiáng)化微調(diào)，UniToken 能夠更好地理解和執(zhí)行復(fù)雜的多模態(tài)指令，例如在給定文本描述和圖像的情況下生成特定布局的圖像。
• 細(xì)粒度視覺(jué)任務(wù)：借助 AnyRes 和 ViT 端到端微調(diào)等技術(shù)，UniToken 能夠處理高分辨率圖像，增強(qiáng)對(duì)圖像細(xì)節(jié)的感知能力，適用于高精度視覺(jué)處理需求。
• 任務(wù)通用性：UniToken 能夠無(wú)縫整合多種多模態(tài)理解與生成任務(wù)，支持圖文理解、圖像生成、圖像編輯、故事生成等多樣化的復(fù)雜任務(wù)，展現(xiàn)出卓越的通用生成能力。

UniToken的技術(shù)原理

• 統(tǒng)一視覺(jué)編碼：UniToken 采用連續(xù)與離散雙編碼器，結(jié)合 VQ-GAN 的離散編碼和 SigLIP 的連續(xù)表征，生成同時(shí)具備高級(jí)語(yǔ)義和細(xì)節(jié)的視覺(jué)編碼，為多模態(tài)大模型提供全面的視覺(jué)信息。
• 多階段訓(xùn)練
  • 視覺(jué)語(yǔ)義空間對(duì)齊：基于 Chameleon 作為基礎(chǔ)，將語(yǔ)言模型（LLM）凍結(jié)，僅訓(xùn)練 SigLIP ViT 和 Adapter，使連續(xù)視覺(jué)編碼與語(yǔ)言空間實(shí)現(xiàn)對(duì)齊。
  • 多任務(wù)聯(lián)合訓(xùn)練：在大規(guī)模圖文理解與圖像生成數(shù)據(jù)集上進(jìn)行聯(lián)合訓(xùn)練，通過(guò)控制數(shù)據(jù)比例，平衡提升模型在理解和生成任務(wù)上的表現(xiàn)。
  • 指令強(qiáng)化微調(diào)：引入高質(zhì)量的多模態(tài)對(duì)話和精細(xì)化圖像生成數(shù)據(jù)，進(jìn)一步提升模型對(duì)復(fù)雜指令的執(zhí)行能力。
• 細(xì)粒度視覺(jué)增強(qiáng)：UniToken 支持 AnyRes 和 ViT 端到端微調(diào)等先進(jìn)技術(shù)，提升對(duì)高分辨率圖像的細(xì)粒度感知能力，同時(shí)避免模型崩潰，適應(yīng)多種任務(wù)場(chǎng)景。

UniToken的項(xiàng)目地址

• Github倉(cāng)庫(kù)：https://github.com/SxJyJay/UniToken
• arXiv技術(shù)論文：https://arxiv.org/pdf/2504.04423

UniToken的應(yīng)用場(chǎng)景

• 內(nèi)容創(chuàng)作與設(shè)計(jì)：UniToken 能根據(jù)文本描述生成高質(zhì)量的圖像，幫助設(shè)計(jì)師快速生成創(chuàng)意草圖或概念圖，從而節(jié)省設(shè)計(jì)時(shí)間和精力。
• 智能客服與虛擬助手：在多模態(tài)對(duì)話場(chǎng)景中，UniToken 能夠理解用戶輸入的文本與圖像信息，并生成自然語(yǔ)言回復(fù)。
• 教育與學(xué)習(xí)：UniToken 可用于教育領(lǐng)域，幫助學(xué)生更好地理解復(fù)雜概念。例如，通過(guò)生成與科學(xué)實(shí)驗(yàn)、歷史或文學(xué)作品相關(guān)的圖像，UniToken 可增強(qiáng)學(xué)生的視覺(jué)記憶與理解能力。
• 醫(yī)療與健康：在醫(yī)療領(lǐng)域，UniToken 可用于生成醫(yī)學(xué)圖像或解釋醫(yī)學(xué)影像，提升診斷的準(zhǔn)確性。
• 自動(dòng)駕駛與交通管理：UniToken 可應(yīng)用于自動(dòng)駕駛場(chǎng)景中的視覺(jué)問(wèn)答（VQA）任務(wù)。例如，車輛實(shí)時(shí)上傳道路圖像，UniToken 生成有關(guān)路況和交通標(biāo)志的信息自然語(yǔ)言描述，輔助自動(dòng)駕駛系統(tǒng)做出更精準(zhǔn)的決策。

常見(jiàn)問(wèn)題

• UniToken的適用領(lǐng)域有哪些？ UniToken 可廣泛應(yīng)用于內(nèi)容創(chuàng)作、智能客服、教育、醫(yī)療以及自動(dòng)駕駛等多個(gè)領(lǐng)域。
• 如何獲取UniToken？ 用戶可以通過(guò)訪問(wèn) UniToken 的 GitHub 倉(cāng)庫(kù)和 arXiv 論文獲取更多技術(shù)細(xì)節(jié)和使用指南。
• UniToken是否支持多語(yǔ)言？ 是的，UniToken 能夠處理多種語(yǔ)言的輸入，并生成相應(yīng)的文本輸出。