最強代碼模型刷新：Mistral新品上線即登頂，上下文窗口增至256k

HumanEval測試多種語言達到SOTA

原標題：最強代碼模型刷新：Mistral新品上線即登頂，上下文窗口增至256k
文章來源：量子位
內(nèi)容字數(shù)：2671字

歐洲版OpenAI的代碼模型CodeStral 2501登頂代碼競技場

Mistral AI的代碼模型CodeStral 2501在Copilot Arena代碼競技場中取得第一名，與DeepSeek V2.5和Claude 3.5 Sonnet并列。這標志著代碼模型領(lǐng)域的一個重大進步，其性能在多個基準測試中都達到了最先進水平（SOTA）。

性能提升與新特性

速度提升：CodeStral 2501使用了更高效的架構(gòu)和分詞器，生成速度比前一代快約2倍。
上下文窗口擴大：上下文窗口從之前的32k增長到256k，是之前的8倍。
SOTA性能：在HumanEval等傳統(tǒng)測試和Copilot Arena中，CodeStral 2501在多個指標上取得了SOTA成績，尤其在代碼補全（FIM）方面表現(xiàn)出色。
多語言支持：支持80多種編程語言，并在Python、C++、JS等常用語言中取得SOTA成績，甚至實現(xiàn)了C#語言得分過半。不過在Java語言上的表現(xiàn)有所下降。
FIM性能提升：在FIM（單行精確匹配）任務(wù)中，CodeStral 2501的平均成績以及Python、Java和JS三個單項均比前一代有所進步，并優(yōu)于OpenAI FIM API 3.5 Turbo等其他模型。

Copilot Arena競技場

Copilot Arena是由卡內(nèi)基梅隆大學(xué)和UC伯克利的研究人員與LMArena合作推出的開源編程工具，用戶可以提交問題，系統(tǒng)隨機選擇兩個模型匿名輸出，用戶根據(jù)輸出選擇優(yōu)勝者。CodeStral 2501在超過1.7萬場battle中脫穎而出，取得了第一名的成績。

可用性與定價

CodeStral 2501可以通過Mistral的合作方Continue.dev在VSCode或Jetbrains系列IDE中使用，也可以通過API自行部署。定價為每百萬輸入/輸出token 0.3/0.9美元或歐元。

總結(jié)

CodeStral 2501的出現(xiàn)標志著代碼模型領(lǐng)域的一次重大飛躍。其顯著的性能提升、更大的上下文窗口以及在多個編程語言中的SOTA表現(xiàn)，使其成為目前最強大的代碼模型之一。值得關(guān)注的是，雖然在一些特定語言（如Java）上的表現(xiàn)略有下降，但整體而言，CodeStral 2501在代碼生成和補全方面展現(xiàn)出了強大的實力。