AutoCodeBench – 騰訊混元開源測評大模型代碼能力的數(shù)據(jù)集

AutoCodeBench：騰訊混元推出的權(quán)威大模型代碼能力評測集，以其高難度、實用性、多語言覆蓋（20種語言，3920個問題）和自動化生成流程，成為衡量大模型跨語言編程功底的標桿。

AutoCodeBench，由騰訊混元傾力打造，是一套專門用于評估大型語言模型（LLM）代碼生成能力的基準測試集。這套測試集共包含3920道精心設(shè)計的題目，并廣泛覆蓋了20種不同的編程語言，力求全面、客觀地衡量大模型在多語言編程場景下的表現(xiàn)。其核心優(yōu)勢在于題目難度高、貼近實際應(yīng)用且具備高度多樣性，能夠精準地揭示模型在復(fù)雜編碼任務(wù)中的潛能與瓶頸。

該基準測試集通過創(chuàng)新的自動化工作流來生成數(shù)據(jù)，從而確保了數(shù)據(jù)的品質(zhì)與廣泛的覆蓋度。為了滿足不同評估需求，AutoCodeBench 還提供了兩個關(guān)鍵版本：AutoCodeBench-Lite，旨在放大不同模型間的性能差異，便于用戶進行細致的對比分析；以及AutoCodeBench-Complete，該版本利用3-shot提示策略，專注于評估基礎(chǔ)模型的代碼生成能力。

AutoCodeBench 的核心優(yōu)勢

• 全方位多語言代碼能力評測：憑借3920個涵蓋20種編程語言的問題，AutoCodeBench為大模型的多語言代碼生成能力提供了無與倫比的評估廣度。
• 挑戰(zhàn)性基準測試設(shè)計：支持設(shè)定高難度的編程挑戰(zhàn)，能有效識別和暴露大模型在處理復(fù)雜編程任務(wù)時可能存在的局限性。
• 性能差異的精準放大：通過構(gòu)建精選的AutoCodeBench-Lite版本，能夠顯著區(qū)分不同模型之間的細微性能差異，為模型選型和優(yōu)化提供清晰的依據(jù)。
• 基礎(chǔ)模型性能深度洞察：AutoCodeBench-Complete版本，借助3-shot提示，為評估基礎(chǔ)模型的原生代碼生成實力量身定制。
• 自動化高效數(shù)據(jù)生成：利用先進的LLM技術(shù)生成測試輸入，并結(jié)合沙盒環(huán)境獲取輸出，實現(xiàn)高質(zhì)量、多語言代碼生成數(shù)據(jù)的自動化生產(chǎn)。
• 多語言代碼執(zhí)行驗證服務(wù)：集成MultiLanguageSandbox服務(wù)，支持超過30種編程語言的編譯與執(zhí)行，確保生成代碼的正確性得到嚴謹驗證。

AutoCodeBench 的技術(shù)基石

• 智能化數(shù)據(jù)生成流程：AutoCodeGen技術(shù)利用大語言模型（LLM）生成測試輸入，并將其輸入至沙盒環(huán)境中執(zhí)行，捕獲測試輸出，從而構(gòu)建出高質(zhì)量的測試函數(shù)。通過逆向工程的方式構(gòu)造編程問題，確保了生成問題的難度與多樣性。此外，多種數(shù)據(jù)過濾策略的運用，進一步提升了數(shù)據(jù)的質(zhì)量、難度和實用性。
• 強大的多語言支持能力：AutoCodeBench將3920個問題均勻分布在20種編程語言中，保證了每種語言都有充足的評估樣本，避免了因語言分布不均而導(dǎo)致的評估偏差。而MultiLanguageSandbox服務(wù)則支持30余種編程語言的編譯和執(zhí)行，能夠精確驗證生成代碼在不同語言環(huán)境下的正確性和性能，確保模型在多元語言環(huán)境下的表現(xiàn)得到準確評估。
• 兼顧高難度與實用性：通過逆向構(gòu)造問題和精細化的策略過濾，AutoCodeBench生成的題目具有較高的難度，能夠有效評估模型在復(fù)雜編程任務(wù)中的表現(xiàn)。這些題目不僅難度適中，更重要的是具有實際應(yīng)用價值，能夠真實反映現(xiàn)實編程場景中的復(fù)雜挑戰(zhàn)，從而幫助模型更好地適應(yīng)實際應(yīng)用需求。

探索 AutoCodeBench

• 項目官方網(wǎng)站：https://autocodebench.github.io/
• GitHub代碼倉庫：https://github.com/Tencent-Hunyuan/AutoCodeBenchmark
• HuggingFace數(shù)據(jù)集庫：https://huggingface.co/datasets/tencent/AutoCodeBenchmark
• 技術(shù)研究論文：https://arxiv.org/pdf/2508.09101

AutoCodeBench 的廣泛應(yīng)用場景

• 模型性能深度評估：為全面衡量大模型在多語言編程任務(wù)中的代碼生成能力提供了一個客觀標準，有助于精準定位模型的優(yōu)勢與不足。
• 數(shù)據(jù)集構(gòu)建與精進：能夠生成高質(zhì)量、高難度的代碼生成數(shù)據(jù)集，支持用戶定制化數(shù)據(jù)集的構(gòu)建，從而優(yōu)化模型訓(xùn)練效果。
• 多語言能力驗證與研究：用于檢驗大模型在不同編程語言（包括資源相對匱乏的語言）的表現(xiàn)，有力推動多語言編程能力的研究進展。
• 模型訓(xùn)練與持續(xù)驗證：可作為補充訓(xùn)練數(shù)據(jù)，顯著提升模型在復(fù)雜編程任務(wù)上的表現(xiàn)，并為模型訓(xùn)練效果提供定期的驗證依據(jù)。
• 賦能學(xué)術(shù)與產(chǎn)業(yè)發(fā)展：為學(xué)術(shù)界提供了一套標準化的評測基準，同時也能支持工業(yè)界在代碼生成工具開發(fā)與優(yōu)化過程中的應(yīng)用。