Karpathy稱贊，從零實現(xiàn)LLaMa3項目爆火，半天1.5k star

AIGC動態(tài)歡迎閱讀

原標(biāo)題：Karpathy稱贊，從零實現(xiàn)LLaMa3項目爆火，半天1.5k star
關(guān)鍵字：向量,注意力,矩陣,權(quán)重,模型
文章來源：機器之心
內(nèi)容字?jǐn)?shù)：31060字

內(nèi)容摘要：

機器之心報道
編輯：杜偉、陳萍項目中代碼很多很全，值得細(xì)讀。一個月前，Meta 發(fā)布了開源大模型 llama3 系列，在多個關(guān)鍵基準(zhǔn)測試中優(yōu)于業(yè)界 SOTA 模型，并在代碼生成任務(wù)上全面領(lǐng)先。
此后，開發(fā)者們便開始了本地部署和實現(xiàn)，比如 llama3 的中文實現(xiàn)、llama3 的純 NumPy 實現(xiàn)等。
十幾個小時前，有位名為「Nishant Aklecha」的開發(fā)者發(fā)布了一個從零開始實現(xiàn) llama3 的存儲庫，包括跨多個頭的注意力矩陣乘法、位置編碼和每個層在內(nèi)都有非常詳細(xì)的解釋。該項目得到了大神 Karpathy 的稱贊，他表示項目看起來不錯，完全展開后，通過模塊嵌套和相互調(diào)用，可以更容易看到實際的情況。上傳半天的時間，該項目已在 GitHub 上收獲了 1.5k 的 star，足可見其含金量。
從零開始實現(xiàn) llama3
接下來項目作者手把手教你如何從頭開始實現(xiàn) llama3。項目地址：https://github.com/naklecha/llama3-from-scratch
首先從 Meta 提供的 llama3 模型文件中加載張量。
下載地址：https://llama.

原文鏈接：Karpathy稱贊，從零實現(xiàn)LLaMa3項目爆火，半天1.5k star

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺