Chinchilla之死：只要訓練足夠長時間，小模型也能超過大模型

AIGC動態歡迎閱讀

原標題：Chinchilla之死：只要訓練足夠長時間，小模型也能超過大模型

關鍵字：模型,余弦,曲線,解讀,損失

文章來源：機器之心

內容字數：7870字

內容摘要：選自espadrine機器之心編譯2022 年 3 月，DeepMind 一篇論文《Training Compute-Optimal Large Language Models》通過構建的 Chinchilla 模型得出了一個結論：大模型存在訓練不足的缺陷，模型大小和訓練 token 的數量應該以相等的比例擴展。也就是說模型越大，所使用的訓練 token 也應該越多。但事實可能并非如此，近日，博主…

原文鏈接：點此閱讀原文：Chinchilla之死：只要訓練足夠長時間，小模型也能超過大模型

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺