ICML2024高分論文！大模型計(jì)算效率暴漲至200%，來自中國AI公司

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：ICML2024高分論文！大模型計(jì)算效率暴漲至200%，來自中國AI公司
關(guān)鍵字：彩云,模型,小米,注意力,筆者
文章來源：夕小瑤科技說
內(nèi)容字?jǐn)?shù)：7466字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 夕小瑤編輯部前段時(shí)間，KAN突然爆火，成為可以替代MLP的一種全新神經(jīng)網(wǎng)絡(luò)架構(gòu)，200個(gè)參數(shù)頂30萬參數(shù)；而且，GPT-4o的生成速度也是驚艷了一眾大模型愛好者。
大家開始意識(shí)到——
大模型的計(jì)算效率很重要，提升大模型的tokens生成速度是很關(guān)鍵的一環(huán)。
而提升大模型的tokens生成速度，除了花錢升級(jí)GPU外，更長效的做法是改善Transformer模型架構(gòu)的計(jì)算效率。
今天，筆者發(fā)現(xiàn)，終于有團(tuán)隊(duì)對(duì)Transformer計(jì)算最耗時(shí)的核心組件——多頭注意力模塊（MHA）下手了，將Transformer的計(jì)算性能提升了有2倍之高。
通俗的講，如果這項(xiàng)工作未來能落地到大模型里面，那么大模型tokens生成速度翻倍式提升的一天就不遠(yuǎn)了。
這篇論文已經(jīng)被今年的機(jī)器學(xué)習(xí)頂會(huì)ICML 2024錄用，拿到了7分的高分，而且還開源了。
據(jù)透露，今年ICML 2024錄用的paper平均得分在4.25-6.33之間
筆者扒了下，發(fā)現(xiàn)這個(gè)工作的背后是一家頗具影響力的國內(nèi)公司——彩云科技，沒錯(cuò)，就是打造爆火的“彩云小夢”產(chǎn)品的團(tuán)隊(duì)。
不急，先看看這篇論文，如何將Transforme

原文鏈接：ICML2024高分論文！大模型計(jì)算效率暴漲至200%，來自中國AI公司

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業(yè)、有趣、深度價(jià)值導(dǎo)向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內(nèi)外機(jī)構(gòu)投資人，互聯(lián)網(wǎng)大廠中高管和AI公司創(chuàng)始人。一線作者來自清北、國內(nèi)外頂級(jí)AI實(shí)驗(yàn)室和大廠，兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務(wù)合作：zym5189