Pixel Reasoner – 滑鐵盧聯(lián)合港科大等高校推出的視覺語言模型

Pixel Reasoner是什么

Pixel Reasoner是由滑鐵盧大學(xué)、香港科技大學(xué)和中國(guó)科學(xué)技術(shù)大學(xué)等多家機(jī)構(gòu)共同研發(fā)的一款視覺語言模型（VLM），旨在通過像素空間推理增強(qiáng)視覺信息的理解與推理能力。該模型能夠直接對(duì)視覺輸入執(zhí)行操作，比如放大圖像特定區(qū)域或選擇視頻幀，從而更精準(zhǔn)地捕捉到視覺細(xì)節(jié)。Pixel Reasoner采用了兩階段的訓(xùn)練方法，通過指令調(diào)優(yōu)使模型熟悉各種視覺操作，并通過好奇心驅(qū)動(dòng)的強(qiáng)化學(xué)習(xí)激勵(lì)模型深入探索像素空間推理。在多個(gè)視覺推理基準(zhǔn)測(cè)試中，Pixel Reasoner展現(xiàn)出卓越的表現(xiàn)，顯著提升了視覺密集型任務(wù)的效率。

Pixel Reasoner的主要功能

• 直接視覺操作：能夠直接對(duì)圖像和視頻等視覺輸入進(jìn)行操作，如放大圖像區(qū)域（zoom-in）和選擇視頻幀（select-frame），從而更細(xì)致地捕捉視覺信息。
• 增強(qiáng)視覺理解：具備識(shí)別和理解圖像中細(xì)微物體、復(fù)雜空間關(guān)系、嵌入小文本及視頻中的細(xì)微動(dòng)作的能力。
• 多模態(tài)推理：全面處理復(fù)雜的視覺語言任務(wù)，如視覺問答（VQA）和視頻理解等。
• 自適應(yīng)推理：根據(jù)任務(wù)需求靈活選擇是否實(shí)施視覺操作，從而在不同類型的視覺任務(wù)中實(shí)現(xiàn)最佳推理效果。

Pixel Reasoner的技術(shù)原理

• 指令調(diào)優(yōu)（Instruction Tuning）：
  • 收集種子數(shù)據(jù)：挑選具有豐富視覺信息的圖像和視頻數(shù)據(jù)集，例如SA1B、FineWeb和STARQA。
  • 定位參考視覺線索：通過數(shù)據(jù)集的標(biāo)注或使用GPT-4o生成的標(biāo)注，識(shí)別與特定問題相關(guān)的視覺線索（如邊界框或幀索引）。
  • 合成專家軌跡：利用模板化方法生成推理軌跡，確保模型在推理過程中能準(zhǔn)確使用視覺操作。首先分析整體視覺輸入，然后觸發(fā)特定的視覺操作提取細(xì)節(jié)，最終結(jié)合這些細(xì)節(jié)得出答案。
• 訓(xùn)練：通過監(jiān)督學(xué)習(xí)（Supervised Fine-Tuning，SFT）對(duì)模型進(jìn)行訓(xùn)練，使其熟悉視覺操作。基于插入錯(cuò)誤的視覺操作并合成自我修正軌跡，提升模型對(duì)意外視覺結(jié)果的應(yīng)對(duì)能力。
• 好奇心驅(qū)動(dòng)的強(qiáng)化學(xué)習(xí)：設(shè)計(jì)包含好奇心獎(jiǎng)勵(lì)和效率懲罰的獎(jiǎng)勵(lì)函數(shù)，激勵(lì)模型探索像素空間推理。
• 訓(xùn)練過程：通過強(qiáng)化學(xué)習(xí)（RL）對(duì)模型進(jìn)行訓(xùn)練，以好奇心獎(jiǎng)勵(lì)激勵(lì)模型探索像素空間推理，并通過效率懲罰限制視覺操作的數(shù)量。每512個(gè)查詢更新一次行為策略和改進(jìn)策略，模型逐漸學(xué)會(huì)在適當(dāng)?shù)牟樵冎惺褂孟袼乜臻g推理，并在視覺操作失敗時(shí)進(jìn)行自我修正。

Pixel Reasoner的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：點(diǎn)擊這里訪問官網(wǎng)
• GitHub倉(cāng)庫(kù)：點(diǎn)擊這里查看GitHub倉(cāng)庫(kù)
• HuggingFace模型庫(kù)：點(diǎn)擊這里訪問HuggingFace模型庫(kù)
• arXiv技術(shù)論文：點(diǎn)擊這里查看技術(shù)論文
• 在線體驗(yàn)Demo：點(diǎn)擊這里體驗(yàn)在線Demo

Pixel Reasoner的應(yīng)用場(chǎng)景

• 研究人員和開發(fā)者：研究人員和開發(fā)者可以利用該模型進(jìn)行訓(xùn)練和優(yōu)化，特別是在視覺問答和視頻分析等任務(wù)中，提升模型的表現(xiàn)和準(zhǔn)確性。
• 教育工作者：教育工作者可運(yùn)用該模型輔助教學(xué)，通過直觀的視覺展示和說明，幫助學(xué)生更好地理解復(fù)雜概念。
• 工業(yè)質(zhì)檢人員：質(zhì)檢人員可借助該模型進(jìn)行自動(dòng)化視覺檢查，快速識(shí)別產(chǎn)品外觀缺陷，從而提高質(zhì)量控制的效率和準(zhǔn)確性。
• 內(nèi)容創(chuàng)作者：創(chuàng)作者能夠進(jìn)行更精準(zhǔn)的視覺內(nèi)容分析和編輯，以提升內(nèi)容的質(zhì)量和吸引力。

常見問題

• Pixel Reasoner支持哪些類型的視覺輸入？：該模型支持圖像和視頻等多種視覺輸入，能夠進(jìn)行多樣化的操作。
• 如何進(jìn)行Pixel Reasoner的訓(xùn)練？：模型通過監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)相結(jié)合的方式進(jìn)行訓(xùn)練，提升其對(duì)視覺操作的反應(yīng)能力。
• Pixel Reasoner的使用場(chǎng)景有哪些？：適用于研究、教育、工業(yè)質(zhì)檢和內(nèi)容創(chuàng)作等多個(gè)領(lǐng)域，滿足不同用戶的需求。