VQAScore

VQAScore是一種由卡內基梅隆大學（CMU）與Meta合作開發的先進評估工具，旨在通過視覺問答（VQA）模型來衡量基于文本提示生成的圖像質量。該方法通過計算模型對“Does this figure show {text}?”這一問題給出“是”的概率，從而評估圖像與文本提示的匹配程度。VQAScore的獨特之處在于無需額外的人類標注，直接利用現有的VQA模型，以概率值的方式提供更為精準的評估結果，超越了傳統的評估指標如CLIPScore。

VQAScore是什么

VQAScore是CMU與Meta聯合推出的一種評估方法，專注于通過視覺問答（VQA）模型評估由文本提示生成的圖像質量。該方法通過計算模型回答“Does this figure show {text}?”這一問題為“是”的概率，來判斷圖像與文本提示的對齊程度。VQAScore的主要優勢在于它可以在沒有額外人類標注的情況下，直接利用現有的VQA模型，提供更為精準的評估結果，超越了傳統的評估方式，如CLIPScore。該工具已被廣泛應用于多個項目，如Imagen3，以實現對新一代生成模型的自動評估與優化。

VQAScore的主要功能

• 評估圖像與文本提示的匹配程度：VQAScore通過計算“是”答案的概率，衡量生成圖像是否符合指定的文本提示。
• 自動化評估過程：提供一種自動化評估圖像生成模型的方法，無需人工干預，適合大規模和快速評估。
• 提升評估精確度：解決現有評估方法在處理復雜文本提示時的局限性，提供更準確的結果。
• 支持多種生成任務的評估：VQAScore不僅能評估圖像，還能夠應用于視頻和3D模型的文本到視覺生成任務。
• 基準測試與模型優化：基于GenAI-Bench基準測試集，VQAScore幫助研究人員識別模型的不足，推動模型的改進。

VQAScore的技術原理

• 問題模板化：將文本提示轉化為簡單的是非問題，例如：“Does this figure show {text}?請回答是或否。”
• 圖像和文本的聯合編碼：使用VQA模型將圖像與問題（轉化為token序列）作為輸入，進行聯合編碼。
• 預測答案的概率：VQA模型的解碼器輸出預測答案（“是”或“否”）的概率分布。
• 計算對齊得分：VQAScore定義為模型預測“是”答案的概率，反映圖像與文本提示的對齊程度。
• 雙向編碼器-解碼器架構：VQAScore使用的CLIP-FlanT5模型基于雙向編碼器-解碼器架構，增強了圖像嵌入對問題內容的依賴，從而更好地理解和處理復雜的文本提示。
• 無需額外數據微調：在訓練過程中使用圖像及其對應問題的答案，評估時無需針對特定數據集進行額外微調。

VQAScore的項目地址

• 項目官網：linzhiqiu.github.io/papers/vqascore
• GitHub倉庫：https://github.com/linzhiqiu/t2v_metrics
• arXiv技術論文：https://arxiv.org/pdf/2404.01291
• 在線體驗Demo：https://huggingface.co/spaces/zhiqiulin/VQAScore

VQAScore的應用場景

• 圖像生成模型的評估：評估DALL-E、Imagen、Stable Diffusion等模型根據文本提示生成圖像的準確性和質量。
• 視頻生成模型的評估：評估文本到視頻生成模型的性能，例如根據劇本或描述生成視頻內容的能力。
• 3D模型生成的評估：評估文本到3D模型生成任務，例如根據描述生成3D物體或場景。
• 多模態學習的研究：在多模態學習領域中，VQAScore可以作為研究工具，幫助研究人員理解模型如何處理和生成跨模態內容。
• 自動化測試與質量控制：在圖像、視頻和3D內容的自動化測試流程中，VQAScore被用作質量控制的指標。