AIGC動態(tài)歡迎閱讀

原標(biāo)題：1000行C語言搓出GPT-2！AI大神Karpathy新項目剛上線就狂攬2.5k星
關(guān)鍵字：模型,語言,代碼,權(quán)重,分詞
文章來源：新智元
內(nèi)容字?jǐn)?shù)：8590字

內(nèi)容摘要：

新智元報道編輯：桃子 好困
【新智元導(dǎo)讀】訓(xùn)大模型的方法可能要被革新了！AI大神Karpathy發(fā)布的新項目僅用1000行的C語言訓(xùn)完GPT-2，而不再依賴龐大的GPT-2庫。他本人預(yù)告，即將上線新課。斷更近一個月，Karpathy終于上線了。
這次不是AI大課，而是帶來一個新項目。
僅用1000行純C語言訓(xùn)完GPT-2。
想象一下，如果我們能夠不依賴于龐大的PyTorch（245MB）和cPython（107MB）庫，僅僅使用純C語言就能訓(xùn)練大型語言模型（LLM），那會怎樣？
現(xiàn)在，借助llm.c，這件聽起來似乎不太可能的事，已經(jīng)成為了現(xiàn)實！
這個項目的亮點在于，它僅用約1000行簡潔的C代碼，就實現(xiàn)了在普通計算機(jī)處理器（CPU）上訓(xùn)練GPT-2模型的能力。
而且，這份代碼不僅可以立即編譯運行，其訓(xùn)練結(jié)果也和PyTorch版本的GPT-2完全一致。
之所以選擇GPT-2作為起點，是因為它標(biāo)志著大型語言模型發(fā)展史上的一個重要里程碑，是第一次以我們現(xiàn)在所熟悉的形式整合了這樣的技術(shù)棧，并且模型權(quán)重也是公開可獲取的。
這一項目剛剛發(fā)布幾個小時，已經(jīng)獲得了2.5k星。
項目地址：https:

原文鏈接：1000行C語言搓出GPT-2！AI大神Karpathy新項目剛上線就狂攬2.5k星

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響，領(lǐng)航中國新智能時代。