Scaling Laws終結，量化無用，AI大佬都在審視這篇論文

AIGC動態歡迎閱讀

原標題：Scaling Laws終結，量化無用，AI大佬都在審視這篇論文
關鍵字：精度,模型,權重,數據,定律
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
作者：澤南、小舟研究表明，你訓練的 token 越多，你需要的精度就越高。最近幾天，AI 社區都在討論同一篇論文。
UCSD 助理教授 Dan Fu 說它指明了大模型量化的方向。CMU 教授 Tim Dettmers 則直接說：它是很長一段時間以來最重要的一篇論文。OpenAI 創始成員、特斯拉前 AI 高級總監 Andrej Karpathy 也轉發了他的帖子。Tim Dettmers 表示，可以說，人工智能的大部分進步都來自計算能力的提升，而（在最近）這主要依賴于低精度路線的加速（32- > 16 – > 8 位）。現在看來，這一趨勢即將結束。再加上摩爾定律的物理限制，大模型的大規模擴展可以說要到頭了。
例如，英偉達最新的 AI 計算卡 Blackwell 將擁有出色的 8 位能力，并在硬件層面實現逐塊量化。這將使 8 位訓練變得像從 FP16 切換到 BF16 一樣簡單。然而，正如我們從新論文中看到的那樣，對于很多大模型的訓練來說，8 位是不夠的。
與其他模型相比，Llama 405B 沒有得到太多應用的主要原因是它體量太大了，運行 405B 模型進行推理非常麻煩。

原文鏈接：Scaling Laws終結，量化無用，AI大佬都在審視這篇論文

聯系作者

文章來源：機器之心
作者微信：
作者簡介：