8/8/6/3的Mamba論文，最終還是被ICLR 2024拒了，網(wǎng)友：懸著的心終于死了

AIGC動態(tài)1年前 (2024)發(fā)布機(jī)器之心

AIGC動態(tài)歡迎閱讀

原標(biāo)題：8/8/6/3的Mamba論文，最終還是被ICLR 2024拒了，網(wǎng)友：懸著的心終于死了
關(guān)鍵字：審稿人,論文,模型,作者,序列
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：6451字

內(nèi)容摘要：

機(jī)器之心報道
編輯：蛋醬幾天前，ICLR 2024 的最終接收結(jié)果出來了。
大家應(yīng)該還記得，Mamba 被 ICLR 2024 大會 Decision Pending（待定）的消息在 1 月份引發(fā)過一波社區(qū)熱議。
當(dāng)時，多位領(lǐng)域內(nèi)的研究者分析，Decision Pending 的意思是延遲決定，雖然也可能會被拒，但這篇論文得到了 8/8/6/3 的打分，按理說不至于真被拒。論文審稿頁面：https://openreview.net/forum?id=AL1fq05o7H
如今，Decision 已出，Mamba 徹底被拒，懸著的心終于死了。「Mamba」發(fā)布之初即被視為「Transformer 的強(qiáng)勁競爭者」，它是一種選擇性狀態(tài)空間模型（selective state space model），在語言建模方面可以媲美甚至擊敗 Transformer。而且，它可以隨上下文長度的增加實現(xiàn)線性擴(kuò)展，其性能在實際數(shù)據(jù)中可提高到百萬 token 長度序列，并實現(xiàn) 5 倍的推理吞吐量提升。
但對于 ICLR 審稿人來說，這篇論文還存在重大缺陷（至少針對當(dāng)前版本）。
手握 8/8/6/3 得分，究竟

原文鏈接：8/8/6/3的Mamba論文，最終還是被ICLR 2024拒了，網(wǎng)友：懸著的心終于死了