AIGC動態(tài)歡迎閱讀

原標題：ICML2024高分論文！大模型計算效率暴漲至200%，來自中國AI公司
關(guān)鍵字：彩云,模型,小米,注意力,筆者
文章來源：夕小瑤科技說
內(nèi)容字數(shù)：7466字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 夕小瑤編輯部前段時間，KAN突然爆火，成為可以替代MLP的一種全新神經(jīng)網(wǎng)絡(luò)架構(gòu)，200個參數(shù)頂30萬參數(shù)；而且，GPT-4o的生成速度也是驚艷了一眾大模型愛好者。
大家開始意識到——
大模型的計算效率很重要，提升大模型的tokens生成速度是很關(guān)鍵的一環(huán)。
而提升大模型的tokens生成速度，除了花錢升級GPU外，更長效的做法是改善Transformer模型架構(gòu)的計算效率。
今天，筆者發(fā)現(xiàn)，終于有團隊對Transformer計算最耗時的核心組件——多頭注意力模塊（MHA）下手了，將Transformer的計算性能提升了有2倍之高。
通俗的講，如果這項工作未來能落地到大模型里面，那么大模型tokens生成速度翻倍式提升的一天就不遠了。
這篇論文已經(jīng)被今年的機器學(xué)習(xí)頂會ICML 2024錄用，拿到了7分的高分，而且還開源了。
據(jù)透露，今年ICML 2024錄用的paper平均得分在4.25-6.33之間
筆者扒了下，發(fā)現(xiàn)這個工作的背后是一家頗具影響力的國內(nèi)公司——彩云科技，沒錯，就是打造爆火的“彩云小夢”產(chǎn)品的團隊。
不急，先看看這篇論文，如何將Transforme

原文鏈接：ICML2024高分論文！大模型計算效率暴漲至200%，來自中國AI公司

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業(yè)、有趣、深度價值導(dǎo)向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內(nèi)外機構(gòu)投資人，互聯(lián)網(wǎng)大廠中高管和AI公司創(chuàng)始人。一線作者來自清北、國內(nèi)外頂級AI實驗室和大廠，兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務(wù)合作：zym5189