UniPixel – 香港理工聯合騰訊推出的像素級多模態(tài)大模型

UniPixel，一項由香港理工大學與騰訊ARC Lab攜手打造的開創(chuàng)性技術，正以前所未有的方式重塑我們對視覺信息的理解與互動。作為首個實現像素級精度的統(tǒng)一多模態(tài)大型模型，UniPixel將目光聚焦于圖像和視頻的深度洞察，并致力于實現流暢的交互體驗。令人矚目的是，它能夠在單一模型架構內，精準駕馭對象指代、像素級分割以及區(qū)域推理這三大核心任務。通過其獨創(chuàng)的“對象記憶機制”與一套全新的統(tǒng)一視覺編碼體系，UniPixel得以對視頻流中的目標進行前所未有的精準追蹤與語讀。

UniPixel：革新性的視覺語言理解模型

UniPixel的誕生，標志著多模態(tài)AI領域的一大飛躍。該模型整合了香港理工大學和騰訊ARC Lab的尖端研究成果，專注于圖像與視頻的精細化理解與交互。其核心能力在于，能夠在同一個模型框架下，高效完成對象指代、像素級分割和區(qū)域推理等復雜任務。得益于其創(chuàng)新的“對象記憶機制”和統(tǒng)一的視覺編碼方式，UniPixel能夠實現對視頻內容中目標的精確跟蹤和語義層面的深入理解。該模型以Qwen2.5-VL為基礎，支持點、框、掩碼等多種交互方式，并在9項視覺任務的基準測試中，取得了超越擁有720億參數的傳統(tǒng)模型的優(yōu)異成績。更令人振奮的是，其代碼和在線演示已向公眾開放。UniPixel的關鍵突破在于將視覺分割與語言推理深度融合，有效解決了傳統(tǒng)模型在處理復雜指代關系和動態(tài)區(qū)域理解方面的瓶頸。

UniPixel的核心功能亮點

• 像素級視覺語言的深度融合：UniPixel的核心優(yōu)勢在于其對像素級視覺語言理解的極致追求。它能夠實現視覺信號與語言語義在像素層面的精確對齊，從而支持包括圖像/視頻分割、區(qū)域理解以及PixelQA任務在內的多種細粒度任務。
• 對象指代與分割的無縫集成：該模型巧妙地將對象指代與分割能力融為一體，能夠根據視覺提示輸入生成精確的對應掩碼。在推理過程中，它還能基于這些中間的“指引”進行后續(xù)的精細化推理，實現像素級別的深度理解。
• 全方位的多任務支持：UniPixel在眾多基準測試中表現卓越，涵蓋了ReVOS推理分割基準、MeViS、Ref-YouTube-VOS、RefCOCO/+/g等數據集。此外，它還創(chuàng)新性地提出了PixelQA任務，要求模型在對象指代、分割和問答之間實現協(xié)同工作。
• 靈活多樣的視覺提示處理能力：模型能夠靈活應對各種視覺提示輸入，并據此生成掩碼進行推理。無論是單幀圖像還是多幀視頻，UniPixel都能實現對區(qū)域的深入理解，并支持基于掩碼的問答交互。

UniPixel的技術原理解析

• 一體化框架設計：UniPixel采用了一種高度統(tǒng)一的框架，將對象指代和分割能力整合于一身，實現了從宏觀場景理解到微觀像素推理的跨越，為復雜的視覺推理任務奠定了堅實基礎。
• 智能化的對象記憶庫：模型內置了一個對象記憶庫，能夠存儲從指代任務中提取的對象特征。這些信息為后續(xù)的分割和推理任務提供了寶貴的上下文線索，顯著提升了模型在像素級任務上的表現。
• 循序漸進的多階段訓練策略：UniPixel的訓練過程采用了預訓練、指代任務微調以及分割任務微調的多階段策略。這種方法能夠逐步提升模型在像素級任務上的性能，使其更好地適應多樣化的任務需求。
• 端到端的掩碼生成機制：模型能夠直接根據語言描述生成像素級的掩碼，實現了語言與視覺信息的深度交融。這使得它能夠勝任多種細粒度任務，例如圖像/視頻分割和區(qū)域理解。
• 敏銳的視覺提示響應能力：UniPixel能夠靈活地處理視覺提示輸入，并據此生成掩碼進行推理。它支持單幀和多幀視頻的區(qū)域理解，以及基于掩碼的問答任務，能夠適應各種不同的應用場景。
• 卓越的推理能力展現：在VideoRefer-Bench-Q問答任務中，UniPixel-7B模型取得了74.1%的準確率，其表現甚至超越了包括GPT-4o在內的多款強大基準模型，充分證明了其在復雜視覺推理任務中的強大實力。
• 全面的模型權重與數據集支持：項目方提供了UniPixel-3B和UniPixel-7B兩個版本的模型權重，以及涵蓋23個指代/分割/QA數據集的原始圖像/視頻和預處理標注。這些豐富的資源為研究人員和開發(fā)者提供了便利。
• 完善的訓練與評估環(huán)境：代碼庫全面支持在23個數據集和基準測試上進行訓練與評估。它支持靈活的硬件配置、高效的訓練技術、自定義基礎LLM和對話模板，并通過Tensorboard/Wandb提供訓練過程的監(jiān)控，極大地便利了用戶的開發(fā)與優(yōu)化過程。

UniPixel的廣泛應用前景

• 精細化圖像分割：UniPixel能夠根據語言指令精確生成圖像中特定對象的像素級掩碼，為醫(yī)學圖像分析、自動駕駛中的目標分割等需要高精度分割的領域提供了強大的解決方案。
• 智能化視頻分割：在視頻處理領域，UniPixel實現了對視頻中對象的實時分割，為視頻編輯、安防監(jiān)控以及增強現實等應用場景注入了新的活力。
• 深度區(qū)域理解：通過對語言描述的理解，UniPixel能夠準確識別并分割視頻中的特定區(qū)域，這在視頻內容分析、智能監(jiān)控系統(tǒng)以及視頻會議背景分割等方面具有重要價值。
• 交互式問答能力：UniPixel支持PixelQA任務，能夠結合語言描述與視覺信息進行精準問答，這在教育、智能客服和信息檢索等領域展現出巨大的應用潛力。
• 自然的多模態(tài)交互：在需要融合視覺與語言信息進行交互的場景，如智能助手、虛擬現實和游戲開發(fā)等，UniPixel能夠提供更加自然、流暢且精準的交互體驗。
• 高效智能監(jiān)控：在安全監(jiān)控領域，UniPixel能夠實時識別并分割監(jiān)控視頻中的特定對象或區(qū)域，顯著提升了監(jiān)控系統(tǒng)的智能化水平和效率。