OlympicArena – 上海交大聯合 AI Lab 等推出的多學科認知推理基準測試框架

OlympicArena是什么

OlympicArena是由上海交通大學、上海AI Lab、蘇州大學及上海交通大學生成式人工智能實驗室（GAIR Lab）聯合開發的一個多學科認知推理基準測試框架。該平臺收錄了來自國際奧林匹克競賽的11,163道雙語題目，涉及數學、物理、化學、生物、地理、天文學和計算機科學等七大領域。OlympicArena旨在全面評估AI模型的高級認知推理能力，尤其關注邏輯推理和視覺推理。通過對答案和解題過程的細致評估，OlympicArena揭示了AI模型在解決復雜問題時的局限性，推動AI技術向更高智能水平發展。

OlympicArena的主要功能

• 廣泛覆蓋：涵蓋數學、物理、化學、生物、地理、天文學和計算機科學等七個核心學科，共34個細分領域，全面評估AI模型在多學科領域的認知推理能力。
• 雙語支持：基準測試提供中英文雙語版本，增強其國際適用性。
• 答案級評估：對AI模型的答案進行精準評估。
• 過程級評估：逐步評估解題過程，確保AI模型的推理過程邏輯嚴謹、正確。
• 多模態支持：支持文本與圖像相結合的問題，評估AI模型處理多模態信息的能力。

OlympicArena的技術原理

• 數據收集與標注：從62項國際奧林匹克競賽中收集問題，確保其高質量與多樣性。專業團隊負責問題的提取與標注，包括問題分類、答案類型和解題步驟的標注，采用多步驗證機制確保數據的準確性與一致性。
• 評估方法：對于確定答案的問題，通過規則匹配驗證模型輸出的正確性；對于需要生成代碼的問題，通過測試用例檢驗代碼的正確性。將模型生成的解題步驟與標準解題步驟進行對比，評估每一步的正確性。對于難以用規則匹配評估的問題，采用高性能模型（如GPT-4V）作為評估工具，判斷模型輸出的正確性。
• 多模態處理：針對包含圖像的問題，運用圖像識別技術提取關鍵信息，并與文本信息結合，評估AI模型的多模態處理能力。同時為圖像生成描述性文字，以幫助AI模型更好地理解圖像內容。
• 數據泄漏檢測：通過N-gram預測技術檢測模型是否曾見過基準測試中的問題，確保測試的公正性。對每個問題進行實例級檢測，驗證模型是否正確預測問題中的關鍵信息。

OlympicArena的項目地址

• 項目官網：https://gair-nlp.github.io/OlympicArena/
• GitHub倉庫：https://github.com/GAIR-NLP/OlympicArena
• HuggingFace模型庫：https://huggingface.co/datasets/GAIR/OlympicArena
• arXiv技術論文：https://arxiv.org/pdf/2406.12753

OlympicArena的應用場景

• AI模型性能評估：測試AI模型在多學科領域的認知推理能力。
• 模型訓練與優化：識別模型的不足之處，指導改進訓練策略。
• 教育與學習輔助：提供奧林匹克競賽級別的學習資源，輔助教學。
• 科學研究與發現：推動AI在科學研究中的應用，助力科學發現。
• 技術競賽與挑戰：作為AI技術競賽的平臺，激發創新，促進技術發展。

常見問題

• OlympicArena的目標是什么？：OlympicArena旨在全面評估AI模型的認知推理能力，尤其是在復雜問題解決中的表現。
• 如何參與OlympicArena的評估？：用戶可以通過訪問官方網站獲取更多信息，下載相關數據集和評估工具。
• OlympicArena是否適用于所有AI模型？：是的，OlympicArena設計為適用于各種AI模型，以評估其在不同學科領域的推理能力。
• 可以使用OlympicArena進行教育用途嗎？：當然可以，OlympicArena提供豐富的學習資源，適合教育領域的應用。