Karpathy稱贊，從零實現LLaMa3項目爆火，半天1.5k star

AIGC動態歡迎閱讀

原標題：Karpathy稱贊，從零實現LLaMa3項目爆火，半天1.5k star
關鍵字：向量,注意力,矩陣,權重,模型
文章來源：機器之心
內容字數：31060字

內容摘要：

機器之心報道
編輯：杜偉、陳萍項目中代碼很多很全，值得細讀。一個月前，Meta 發布了開源大模型 llama3 系列，在多個關鍵基準測試中優于業界 SOTA 模型，并在代碼生成任務上全面領先。
此后，開發者們便開始了本地部署和實現，比如 llama3 的中文實現、llama3 的純 NumPy 實現等。
十幾個小時前，有位名為「Nishant Aklecha」的開發者發布了一個從零開始實現 llama3 的存儲庫，包括跨多個頭的注意力矩陣乘法、位置編碼和每個層在內都有非常詳細的解釋。該項目得到了大神 Karpathy 的稱贊，他表示項目看起來不錯，完全展開后，通過模塊嵌套和相互調用，可以更容易看到實際的情況。上傳半天的時間，該項目已在 GitHub 上收獲了 1.5k 的 star，足可見其含金量。
從零開始實現 llama3
接下來項目作者手把手教你如何從頭開始實現 llama3。項目地址：https://github.com/naklecha/llama3-from-scratch
首先從 Meta 提供的 llama3 模型文件中加載張量。
下載地址：https://llama.

原文鏈接：Karpathy稱贊，從零實現LLaMa3項目爆火，半天1.5k star

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺