AIGC動態歡迎閱讀

原標題：大模型訓練成本降一半！廈大和vivo聯合推出預訓練新策略，給LLM降本增效
關鍵字：范式,性能,版本,成本,路徑
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | 王志豪魚與熊掌可以兼得，廈門大學和vivo AI lab聯合提出預訓練學習率調整新策略，降低訓練42%成本的同時，還能保持大模型效果，該成果已發表于AI領域的頂級會議EMNLP2024。
近年來，大語言模型（Large Language Models, LLMs）的研究取得了重大進展，并對各個領域產生了深遠影響。然而，LLMs的卓越性能來源于海量數據的大規模訓練，這導致LLMs的訓練成本明顯高于傳統模型。此外在實際應用中，新數據的不斷涌現使LLMs需要不斷進行版本更新來保持性能優勢，這加劇了LLMs的訓練成本。為了探索如何在降低訓練成本的同時確保不同版本LLMs的性能，來自廈門大學和vivo的研究員共同展開研究，在EMNLP2024聯合提出了一種能更好地平衡版本更新時LLMs的性能和成本的訓練范式，并應用于vivo的藍心大模型訓練。
論文標題：A Learning Rate Path Switching Training Paradigm for Version Updates of Large Language Models
論文鏈接：https://ar

原文鏈接：大模型訓練成本降一半！廈大和vivo聯合推出預訓練新策略，給LLM降本增效

聯系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：