70B模型秒出1000token，代碼重寫超越GPT-4o，來自OpenAI投資的代碼神器Cursor團隊

AIGC動態歡迎閱讀

原標題：70B模型秒出1000token，代碼重寫超越GPT-4o，來自OpenAI投資的代碼神器Cursor團隊
關鍵字：模型,算法,任務,代碼,作者
文章來源：量子位
內容字數：4610字

內容摘要：

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI70B模型，秒出1000token，換算成字符接近4000！
研究人員將Llama3進行了微調并引入加速算法，和原生版本相比，速度足足快出了快了13倍！
不僅是快，在代碼重寫任務上的表現甚至超越了GPT-4o。
這項成果，來火的AI編程神器Cursor背后團隊anysphere，OpenAI也參與過投資。
要知道在以快著稱的推理加速框架Groq上，70B Llama3的推理速度也不過每秒300多token。
Cursor這樣的速度，可以說是實現了近乎即時的完整代碼文件編輯。
有人直呼好家伙，如果把Cursor魔改后的Llama3放到Groq上，是不是每秒能跑出上萬token了。
更是有人激動地說，在大模型領域，我們正在消除“延時”這一概念。
引入全新推理加速算法作者此次設計的加速方法，主要是用來解決一種名為“Fast Apply”的任務，即對代碼內容進行快速修改并應用。
首先需要說明的是，雖然說任務最終實現的效果是代碼的局部修改，但是實際操作過程中，輸出并非是只有變化的內容，而是直接全局重寫。
這樣做的原因，是團隊在預先測試后做出

原文鏈接：70B模型秒出1000token，代碼重寫超越GPT-4o，來自OpenAI投資的代碼神器Cursor團隊

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破