AIGC動態歡迎閱讀
原標題:超越Devin!姚班帶隊,他們創大模型編程新世界紀錄
關鍵字:模型,解讀,代碼,公司,數字
文章來源:量子位
內容字數:0字
內容摘要:
允中 發自 凹非寺量子位 | 公眾號 QbitAI超越Devin!SWEBench排行榜上迎來了新玩家——
StarShip CodeGen Agent,姚班帶隊初創公司OpenCSG出品,以23.67%的成績獲得全球第二名的成績。
同時創造了非GPT-4o基模的最高紀錄(SOTA)。
我們都知道,SWEBench評測高度貼近真實編程場景,難度極高,不僅要求模型能理解需求、協調多個函數/類甚至文件的變更,還要求模型與執行環境交互,處理超長上下文并執行遠超傳統代碼生成任務的復雜邏輯推理。
在這種高難度的真實測試中,行業中最先進的GPT4和Devin,也僅能解決1.74%和13.86%的問題。
OpenCSG的這一成績,標志著國內公司在推動語言模型向更實用、智能和自主化方向發展邁出了領先的一步。
大模型編程,到底有多難?2024年3月,首個AI軟件工程師Devin的橫空出世,引爆了整個技術界。雖然伴隨著一系列爭議,但Devin本身強大的創新能力和巨大的潛力,帶給眾多AI愛好者和從業者新的期待。
Devin不僅能夠輕松解決編碼任務,更可以自主完成軟件開發的整個周期——從項目規劃到部署,涵蓋但
原文鏈接:超越Devin!姚班帶隊,他們創大模型編程新世界紀錄
聯系作者
文章來源:量子位
作者微信:QbitAI
作者簡介:追蹤人工智能新趨勢,關注科技行業新突破
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...