AIGC動態歡迎閱讀

原標題：1000行C語言搓出GPT-2！AI大神Karpathy新項目剛上線就狂攬2.5k星
關鍵字：模型,語言,代碼,權重,分詞
文章來源：新智元
內容字數：8590字

內容摘要：

新智元報道編輯：桃子 好困
【新智元導讀】訓大模型的方法可能要被革新了！AI大神Karpathy發布的新項目僅用1000行的C語言訓完GPT-2，而不再依賴龐大的GPT-2庫。他本人預告，即將上線新課。斷更近一個月，Karpathy終于上線了。
這次不是AI大課，而是帶來一個新項目。
僅用1000行純C語言訓完GPT-2。
想象一下，如果我們能夠不依賴于龐大的PyTorch（245MB）和cPython（107MB）庫，僅僅使用純C語言就能訓練大型語言模型（LLM），那會怎樣？
現在，借助llm.c，這件聽起來似乎不太可能的事，已經成為了現實！
這個項目的亮點在于，它僅用約1000行簡潔的C代碼，就實現了在普通計算機處理器（CPU）上訓練GPT-2模型的能力。
而且，這份代碼不僅可以立即編譯運行，其訓練結果也和PyTorch版本的GPT-2完全一致。
之所以選擇GPT-2作為起點，是因為它標志著大型語言模型發展史上的一個重要里程碑，是第一次以我們現在所熟悉的形式整合了這樣的技術棧，并且模型權重也是公開可獲取的。
這一項目剛剛發布幾個小時，已經獲得了2.5k星。
項目地址：https:

原文鏈接：1000行C語言搓出GPT-2！AI大神Karpathy新項目剛上線就狂攬2.5k星

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。