MV-MATH – 中科院推出的基準數據集，評估模型處理多視覺信息的數學推理能力

MV-MATH是什么

MV-MATH是由中國科學院自動化研究所推出的創新基準數據集，旨在評估多模態大語言模型（MLLMs）在各種視覺場景中進行數學推理的能力。該數據集包含2009個高質量的數學問題，每道題目結合了多幅圖像和文字，形成了圖文交融的多視覺場景。問題類型包括選擇題、填空題和多步問答題，覆蓋11個數學領域，如解析幾何、代數、度量幾何等，并按難度分為三個等級。

MV-MATH的主要功能

• 多視覺場景推理：每個問題配有2到8張圖像，與文本內容相輔相成，模擬真實的數學問題場景，全面評估模型處理多種視覺信息的推理能力。
• 廣泛的數學領域覆蓋：涉及11個數學學科（如解析幾何、代數、立體幾何等）和3個難度層次，能夠全面評估模型在不同學科的推理表現。
• 圖像關聯性分析：首次引入圖像相關性標簽，將數據集分為相互依賴集（MD）和集（ID），從而分別評估模型在處理相關和圖像時的推理能力。
• 教育應用：源自真實的K-12教育環境，可用于開發智能輔導系統，幫助學生通過圖文結合的方式解決復雜的數學問題。
• 研究工具：為多模態學習領域提供標準化的評估工具，幫助研究人員識別和改善模型在數學推理中的性能差距。
• 高質量標注：每個樣本經過至少兩名標注者的交叉驗證，包含問題、答案、詳細分析及圖像關聯性標注，為模型評估提供詳盡信息。
• 真實問題收集：所有問題均來源于實際場景，確保數據集的實用性和可靠性。

MV-MATH的技術原理

• 相互依賴集（Mutually Dependent Set，MD）：圖像之間存在相互關聯，理解一個圖像需要參考其他圖像。
• 集（Independent Set，ID）：圖像之間相互，可以單獨進行解讀。

MV-MATH的項目地址

• 項目官網：https://eternal8080.github.io/MV-MATH.github.io/
• Github倉庫：https://github.com/eternal8080/MV-MATH
• arXiv技術論文：https://arxiv.org/pdf/2502.20808
• HuggingFace數據集：https://huggingface.co/datasets/PeijieWang/MV-MATH

MV-MATH的應用場景

• 智能輔導系統：MV-MATH數據集可用于開發智能輔導平臺，幫助學生通過圖文結合的方式解決復雜的數學問題。
• 多模態學習研究：MV-MATH為多模態學習研究提供標準化評估工具，研究者可以利用該數據集評估MLLMs在多視覺場景中的數學推理能力，助力多模態學習技術的進步。
• 性能差距分析：通過廣泛的實驗，研究人員能夠識別并改進模型在數學推理任務中的性能差距。
• 多圖推理任務：該數據集可用于開發和優化多圖推理任務的解決方案，從而在復雜數學問題中處理多個圖像和文本信息。
• 自動化評估系統：數據集可用于評估和優化自動化考試系統，確保其在處理多模態輸入時的準確性和可靠性。