AIGC動態歡迎閱讀

原標題：LLM訓練通信量減少10000倍！全新分布式優化器，整合世間算力訓練強大AI
關鍵字：報告,模型,數據,通信,分布式
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：alan
【新智元導讀】近日，Nous Research宣布了一項重大突破，通過使用與架構和網絡無關的分布式優化器，研究人員成功將訓練LLM時GPU間的通信量降低了1000到10000倍！如果可以使用世界上所有的算力來訓練AI模型，會怎么樣？
近日，憑借發布了開源的Hermes 3（基于Llama 3.1）而引起廣泛關注的Nous Research，再次宣布了一項重大突破——DisTrO（分布式互聯網訓練）。
通過使用與架構和網絡無關的分布式優化器，研究人員成功將訓練LLM時GPU間的通信量降低了1000到10000倍！
初步技術報告：https://github.com/NousResearch/DisTrO/
在如此夸張的改進之下，大模型訓練的重要成本和瓶頸——帶寬，也就不再是問題。
使用DisTrO的方法，你可以將訓練負載分布到互聯網上，而整個網絡世界也就成為了一個巨大的異構的AI服務器集群。
——任何有相關算力的設備都可以參與到訓練過程之中。
實驗證明，本文的方法基本不會導致模型性能下降，同時DisTrO-AdamW在收斂速度方面，也與標準的AdamW+All

原文鏈接：LLM訓練通信量減少10000倍！全新分布式優化器，整合世間算力訓練強大AI

聯系作者

文章來源：新智元
作者微信：
作者簡介：