Karpathy離職OpenAI，首發2小時AI大課！從頭開始構建GPT分詞器

AIGC動態歡迎閱讀

原標題：Karpathy離職OpenAI，首發2小時AI大課！從頭開始構建GPT分詞器
關鍵字：分詞,模型,英語,字符串,算法
文章來源：新智元
內容字數：4859字

內容摘要：

新智元報道編輯：桃子
【新智元導讀】果不其然，繼放出BPE的GitHub代碼后，Karpathy終于上線了「從頭構建GPT分詞器」的課程，引來網友關注。離職OpenAI的技術大神karpathy，終于上線了2小時的AI大課。
——「讓我們構建GPT Tokenizer（分詞器）」。
其實，早在新課推出兩天前，karpathy在更新的GitHub項目中，就預告了這件事。
這個項目是minbpe——專為LLM分詞中常用的BPE（字節對編碼）算法創建最少、干凈以及教育性的代碼。
目前，GitHub已經狂攬6.1k星，442個fork。
項目地址：https://github.com/karpathy/minbpe
網友：2小時課程含金量，相當于大學4年不得不說，karpathy新課發布依然吸引了業內一學者的關注。
他總是可以把相當復雜的LLM概念，用非常好理解的方式講出來。
有網友直接取消了晚上的約會，去上課了。
與karpathy的約會之夜。
AI機器學習研究員Sebastian Raschka表示，「我喜歡從頭開始的實現，我真的很期待看到這個視頻」！
英偉達高級科學家Jim F

原文鏈接：Karpathy離職OpenAI，首發2小時AI大課！從頭開始構建GPT分詞器

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。