AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：編程能力超GPT-4，羊駝代碼版“超大杯”來了，小扎還親自劇透Llama3
關(guān)鍵字：模型,版本,代碼,大杯,參數(shù)
文章來源：量子位
內(nèi)容字?jǐn)?shù)：3384字

內(nèi)容摘要：

克雷西 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI羊駝家族的“最強(qiáng)開源代碼模型”，迎來了它的“超大杯”——
就在今天凌晨，Meta宣布推出Code Llama的70B版本。
在HumanEval測試中，Code Llama-70B的表現(xiàn)在開源代碼模型中位列第一，甚至超越了GPT-4。
此次發(fā)布的超大杯，保持著與小號(hào)版本相同的許可協(xié)議，也就是仍然可以免費(fèi)商用。
版本上，也和往常一樣分為原版、針對自然語言指令微調(diào)的Instruct版和針對Python微調(diào)的Python版。
其中擊敗GPT-4的是Instruct版本，它取得了67.8分的pass@1成績，勝過了GPT-4的67分。
與34B模型相比，基礎(chǔ)版和Instruct版的成績分別提高了8.6%和63.4%。
Code Llama的所有版本均在16000個(gè)token的序列上進(jìn)行訓(xùn)練，上下文長度可達(dá)10萬token。
這意味著，除了生成更長的代碼，Code Llama還可以從用戶的自定義代碼庫讀取更多內(nèi)容，將其傳遞到模型中。
這樣一來就可以針對具體問題的相關(guān)代碼進(jìn)行快速定位，解決了用戶面對海量代碼進(jìn)行調(diào)試時(shí)“無從下手”的問題。
Meta

原文鏈接：編程能力超GPT-4，羊駝代碼版“超大杯”來了，小扎還親自劇透Llama3

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破