純C語言手搓GPT-2，前OpenAI、特斯拉高管新項目火了

AIGC動態歡迎閱讀

原標題：純C語言手搓GPT-2，前OpenAI、特斯拉高管新項目火了
關鍵字：模型,語言,代碼,權重,內存
文章來源：機器之心
內容字數：8282字

內容摘要：

機器之心報道
編輯：澤南、小舟「Real men program in C.」眾所周知，大語言模型還在快速發展，應該有很多可以優化的地方。我用純 C 語言來寫，是不是能優化一大截？
也許很多人開過這樣的腦洞，現在有大佬實現了。今天凌晨，前特斯拉 Autopilot 負責人、OpenAI 科學家 Andrej Karpathy 發布了一個僅用 1000 行代碼即可在 CPU/fp32 上實現 GPT-2 訓練的項目「llm.c」。
GitHub 鏈接：https://github.com/karpathy/llm.c
消息一出，立即引發了機器學習社區的熱烈討論，項目的 Star 量不到七個小時就沖上了 2000。有網友表示，大佬從零開始用 C 語言寫大模型只為好玩，我等只能膜拜：llm.c 旨在讓大模型（LM）訓練變得簡單 —— 使用純 C 語言 / CUDA，不需要 245MB 的 PyTorch 或 107MB 的 cPython。例如，訓練 GPT-2（CPU、fp32）僅需要單個文件中的大約 1000 行干凈代碼（clean code），可以立即編譯運行，并且完全可以媲美 PyT

原文鏈接：純C語言手搓GPT-2，前OpenAI、特斯拉高管新項目火了

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺