ICML2024高分論文！大模型計算效率暴漲至200%，來自中國AI公司

AIGC動態歡迎閱讀

原標題：ICML2024高分論文！大模型計算效率暴漲至200%，來自中國AI公司
關鍵字：彩云,模型,小米,注意力,筆者
文章來源：夕小瑤科技說
內容字數：7466字

內容摘要：

夕小瑤科技說 原創作者 夕小瑤編輯部前段時間，KAN突然爆火，成為可以替代MLP的一種全新神經網絡架構，200個參數頂30萬參數；而且，GPT-4o的生成速度也是驚艷了一眾大模型愛好者。
大家開始意識到——
大模型的計算效率很重要，提升大模型的tokens生成速度是很關鍵的一環。
而提升大模型的tokens生成速度，除了花錢升級GPU外，更長效的做法是改善Transformer模型架構的計算效率。
今天，筆者發現，終于有團隊對Transformer計算最耗時的核心組件——多頭注意力模塊（MHA）下手了，將Transformer的計算性能提升了有2倍之高。
通俗的講，如果這項工作未來能落地到大模型里面，那么大模型tokens生成速度翻倍式提升的一天就不遠了。
這篇論文已經被今年的機器學習頂會ICML 2024錄用，拿到了7分的高分，而且還開源了。
據透露，今年ICML 2024錄用的paper平均得分在4.25-6.33之間
筆者扒了下，發現這個工作的背后是一家頗具影響力的國內公司——彩云科技，沒錯，就是打造爆火的“彩云小夢”產品的團隊。
不急，先看看這篇論文，如何將Transforme

原文鏈接：ICML2024高分論文！大模型計算效率暴漲至200%，來自中國AI公司

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189