8/8/6/3的Mamba論文，最終還是被ICLR 2024拒了，網(wǎng)友：懸著的心終于死了

AIGC動(dòng)態(tài)2年前 (2024)發(fā)布機(jī)器之心

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：8/8/6/3的Mamba論文，最終還是被ICLR 2024拒了，網(wǎng)友：懸著的心終于死了
關(guān)鍵字：審稿人,論文,模型,作者,序列
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：6451字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：蛋醬幾天前，ICLR 2024 的最終接收結(jié)果出來了。
大家應(yīng)該還記得，Mamba 被 ICLR 2024 大會(huì) Decision Pending（待定）的消息在 1 月份引發(fā)過一波社區(qū)熱議。
當(dāng)時(shí)，多位領(lǐng)域內(nèi)的研究者分析，Decision Pending 的意思是延遲決定，雖然也可能會(huì)被拒，但這篇論文得到了 8/8/6/3 的打分，按理說不至于真被拒。論文審稿頁(yè)面：https://openreview.net/forum?id=AL1fq05o7H
如今，Decision 已出，Mamba 徹底被拒，懸著的心終于死了?！窶amba」發(fā)布之初即被視為「Transformer 的強(qiáng)勁競(jìng)爭(zhēng)者」，它是一種選擇性狀態(tài)空間模型（selective state space model），在語言建模方面可以媲美甚至擊敗 Transformer。而且，它可以隨上下文長(zhǎng)度的增加實(shí)現(xiàn)線性擴(kuò)展，其性能在實(shí)際數(shù)據(jù)中可提高到百萬 token 長(zhǎng)度序列，并實(shí)現(xiàn) 5 倍的推理吞吐量提升。
但對(duì)于 ICLR 審稿人來說，這篇論文還存在重大缺陷（至少針對(duì)當(dāng)前版本）。
手握 8/8/6/3 得分，究竟

原文鏈接：8/8/6/3的Mamba論文，最終還是被ICLR 2024拒了，網(wǎng)友：懸著的心終于死了