Karpathy新教程爆火，網友搶著送他H100：從頭復現GPT-2訓練

AIGC動態歡迎閱讀

原標題：Karpathy新教程爆火，網友搶著送他H100：從頭復現GPT-2訓練
關鍵字：原版,小時,美元,工作,量子
文章來源：量子位
內容字數：0字

內容摘要：

夢晨 發自 凹非寺量子位 | 公眾號 QbitAI大神Karpathy已經不滿足于用C語言造Llama了！
他給自己的最新挑戰：復現OpenAI經典成果，從基礎版GPT-2開始。
挑戰成功本身并不意外，但是只花費20美元、90分鐘完成訓練，Loss和評測還超越原版，就！有！點！過！分！了！。
不僅如此，他把復現過程寫成了完整教程，果不其然再次火爆。
由于Karpathy自己租用的是A100云服務，訓練124M版本花費20了美元。
不過有人按照教程用H100跑了一把，不僅訓練時間更短，還更省錢了：43分鐘完成，只花14美元。
另外Karpathy還自掏腰包200美元，為大家復現了350M版本的GPT-2。
但1.5B大杯版，照計算要花1周時間和2500美元，有點玩不起了，主要他手里也沒有H100。
還好各路卡壕非常仗義，該出手時就出手：
有需要隨時給你用！
只收你2美元一小時！
90分鐘復現GPT-2這次Karpathy復現GPT-2，還是基于他的llama.c代碼庫，端到端完成訓練。
代碼庫這些日子被他不斷完善，現在啟動訓練非常簡單：
具體來說，網絡結構是GPT-2，但許多超參數設置遵

原文鏈接：Karpathy新教程爆火，網友搶著送他H100：從頭復現GPT-2訓練

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破