標簽：注意力

蔡澤凡 投稿量子位 | 公眾號 QbitAI用KV緩存加速大模型的顯存瓶頸，終于迎來突破。 北大、威斯康辛-麥迪遜、微軟等聯合團隊提出了全新的緩存分配方案，只用2....

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術...

機器之心PRO · 會員通訊 Week 23---- 本周為您解讀 ③個值得細品的AI & Robotics業內要事 ---- 1. SSM 能取代 Transformer 搞出更「牛」的大模型嗎？ SSM ...

夕小瑤科技說 原創作者 | 任同學 視頻虛擬試穿技術日益受到關注，然而現有的工作局限于將服裝圖像轉移到姿勢和背景簡單的視頻上，對于隨意拍攝的視頻則效果不...

機器之心報道 來源：機器學習算法與Python學習自 2017 年被提出以來，Transformer 已經成為 AI 大模型的主流架構，一直穩居語言建模方面 C 位。 但隨著模型規...

機器之心報道 機器之心編輯部自 2017 年被提出以來，Transformer 已經成為 AI 大模型的主流架構，一直穩居語言建模方面 C 位。 但隨著模型規模的擴展和需要處...

夢晨 發自 凹非寺量子位 | 公眾號 QbitAITransformer挑戰者、新架構Mamba，剛剛更新了第二代： Mamba-2，狀態空間擴大8倍，訓練速度提高50%！ 更重要的是，團...

新智元報道編輯：編輯部 【新智元導讀】在開源社區引起「海嘯」的Mamba架構，再次卷土重來！這次，Mamba-2順利拿下ICML。通過統一SSM和注意力機制，Transform...

彩云科技團隊 投稿量子位 | 公眾號 QbitAI改進Transformer核心機制注意力，讓小模型能打兩倍大的模型！ ICML 2024高分論文，彩云科技團隊構建DCFormer框架，...

夢晨 西風 發自 凹非寺量子位 | 公眾號 QbitAIControlNet作者新項目，居然也搞起大模型和Agent了。 當然還是和AI繪畫相關：解決大伙不會寫提示詞的痛點。 現...

機器之心報道 編輯：澤南、杜偉用卷積能做出一樣好的效果。在 Transformer 大一統的時代，計算機視覺的 CNN 方向還有研究的必要嗎？ 今年年初，OpenAI 視頻大...

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術...

來源：機器之心 機器之心編輯部既能像 Transformer 一樣并行訓練，推理時內存需求又不隨 token 數線性遞增，長上下文又有新思路了？序列建模的進展具有極大的...

機器之心報道 機器之心編輯部既能像 Transformer 一樣并行訓練，推理時內存需求又不隨 token 數線性遞增，長上下文又有新思路了？序列建模的進展具有極大的影...

夕小瑤科技說 原創作者 夕小瑤編輯部前段時間，KAN突然爆火，成為可以替代MLP的一種全新神經網絡架構，200個參數頂30萬參數；而且，GPT-4o的生成速度也是驚艷...