NeurIPS 2024 | 大模型的詞表大小，同樣適用于Scaling Law

AIGC動態(tài)歡迎閱讀

原標題：NeurIPS 2024 | 大模型的詞表大小，同樣適用于Scaling Law
關鍵字：詞表,大小,模型,參數(shù),報告
文章來源：機器之心
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

AIxiv專欄是機器之心發(fā)布學術、技術內(nèi)容的欄目。過去數(shù)年，機器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進了學術交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com第一作者陶超凡（Chaofan Tao）是香港大學（HKU）的四年級博士生，導師是黃毅教授和羅平教授。他本科畢業(yè)于電子科技大學的英才榮譽學院。他的研究論文發(fā)表在ACL、EMNLP、ECCV、NeurIPS、ICML、T-NNLS等期刊和會議上。他獲得了 ACL 2022 年的杰出論文獎。陶超凡的研究興趣包括：1) 高效機器學習與模型加速：以低成本對模型進行高效調(diào)優(yōu)和部署。2) 支持多種任務的通用大型模型，涵蓋不同模態(tài)。
本文是一篇發(fā)表在 NeurIPS 2024 上的論文，單位是香港大學、Sea AI Lab、Contextual AI 和俄亥俄州立大學。論文主要探討了大型語言模型（LLMs）的詞表大小對模型性能的影響。論文：https://arxiv.org

原文鏈接：NeurIPS 2024 | 大模型的詞表大小，同樣適用于Scaling Law