AutoCodeBench – 騰訊混元開源測評大模型代碼能力的數據集

AutoCodeBench：騰訊混元推出的權威大模型代碼能力評測集，以其高難度、實用性、多語言覆蓋（20種語言，3920個問題）和自動化生成流程，成為衡量大模型跨語言編程功底的標桿。

AutoCodeBench，由騰訊混元傾力打造，是一套專門用于評估大型語言模型（LLM）代碼生成能力的基準測試集。這套測試集共包含3920道精心設計的題目，并廣泛覆蓋了20種不同的編程語言，力求全面、客觀地衡量大模型在多語言編程場景下的表現。其核心優勢在于題目難度高、貼近實際應用且具備高度多樣性，能夠精準地揭示模型在復雜編碼任務中的潛能與瓶頸。

該基準測試集通過創新的自動化工作流來生成數據，從而確保了數據的品質與廣泛的覆蓋度。為了滿足不同評估需求，AutoCodeBench 還提供了兩個關鍵版本：AutoCodeBench-Lite，旨在放大不同模型間的性能差異，便于用戶進行細致的對比分析；以及AutoCodeBench-Complete，該版本利用3-shot提示策略，專注于評估基礎模型的代碼生成能力。

AutoCodeBench 的核心優勢

• 全方位多語言代碼能力評測：憑借3920個涵蓋20種編程語言的問題，AutoCodeBench為大模型的多語言代碼生成能力提供了無與倫比的評估廣度。
• 挑戰性基準測試設計：支持設定高難度的編程挑戰，能有效識別和暴露大模型在處理復雜編程任務時可能存在的局限性。
• 性能差異的精準放大：通過構建精選的AutoCodeBench-Lite版本，能夠顯著區分不同模型之間的細微性能差異，為模型選型和優化提供清晰的依據。
• 基礎模型性能深度洞察：AutoCodeBench-Complete版本，借助3-shot提示，為評估基礎模型的原生代碼生成實力量身定制。
• 自動化高效數據生成：利用先進的LLM技術生成測試輸入，并結合沙盒環境獲取輸出，實現高質量、多語言代碼生成數據的自動化生產。
• 多語言代碼執行驗證服務：集成MultiLanguageSandbox服務，支持超過30種編程語言的編譯與執行，確保生成代碼的正確性得到嚴謹驗證。

AutoCodeBench 的技術基石

• 智能化數據生成流程：AutoCodeGen技術利用大語言模型（LLM）生成測試輸入，并將其輸入至沙盒環境中執行，捕獲測試輸出，從而構建出高質量的測試函數。通過逆向工程的方式構造編程問題，確保了生成問題的難度與多樣性。此外，多種數據過濾策略的運用，進一步提升了數據的質量、難度和實用性。
• 強大的多語言支持能力：AutoCodeBench將3920個問題均勻分布在20種編程語言中，保證了每種語言都有充足的評估樣本，避免了因語言分布不均而導致的評估偏差。而MultiLanguageSandbox服務則支持30余種編程語言的編譯和執行，能夠精確驗證生成代碼在不同語言環境下的正確性和性能，確保模型在多元語言環境下的表現得到準確評估。
• 兼顧高難度與實用性：通過逆向構造問題和精細化的策略過濾，AutoCodeBench生成的題目具有較高的難度，能夠有效評估模型在復雜編程任務中的表現。這些題目不僅難度適中，更重要的是具有實際應用價值，能夠真實反映現實編程場景中的復雜挑戰，從而幫助模型更好地適應實際應用需求。

探索 AutoCodeBench

• 項目官方網站：https://autocodebench.github.io/
• GitHub代碼倉庫：https://github.com/Tencent-Hunyuan/AutoCodeBenchmark
• HuggingFace數據集庫：https://huggingface.co/datasets/tencent/AutoCodeBenchmark
• 技術研究論文：https://arxiv.org/pdf/2508.09101

AutoCodeBench 的廣泛應用場景

• 模型性能深度評估：為全面衡量大模型在多語言編程任務中的代碼生成能力提供了一個客觀標準，有助于精準定位模型的優勢與不足。
• 數據集構建與精進：能夠生成高質量、高難度的代碼生成數據集，支持用戶定制化數據集的構建，從而優化模型訓練效果。
• 多語言能力驗證與研究：用于檢驗大模型在不同編程語言（包括資源相對匱乏的語言）的表現，有力推動多語言編程能力的研究進展。
• 模型訓練與持續驗證：可作為補充訓練數據，顯著提升模型在復雜編程任務上的表現，并為模型訓練效果提供定期的驗證依據。
• 賦能學術與產業發展：為學術界提供了一套標準化的評測基準，同時也能支持工業界在代碼生成工具開發與優化過程中的應用。