AIGC動態歡迎閱讀
原標題:Mamba正式被ICLR拒收!“年度最佳技術原理解讀”卻火了
關鍵字:解讀,騰訊,卷積,建模,作者
文章來源:量子位
內容字數:8734字
內容摘要:
豐色 發自 凹非寺量子位 | 公眾號 QbitAI懸著的心終于死了:
被尊為Transformer挑戰者的Mamba,已正式被ICLR拒絕。
(之前被“初拒”后在學術圈引起軒然,轉為“待定(Decision Pending)”狀態)
但這位“頂流”的熱度豈受影響?
這不,一篇關于它的最新通俗解讀(作者:Jack Cook,牛津互聯網研究院研究員,曾在MIT、英偉達、微軟工作),剛剛誕生,還在被網友們瘋狂點贊收藏。
有人甚至稱它為:
到目前為止的年度最佳(解讀)。
咱也不能錯過。
以下為原文精華傳送:
背景:S4架構Mamba的架構主要基于S4,一種最新的狀態空間模型(SSM,state space model)架構。
其主要思想如下:
在較高層次上,S4學習如何通過中間狀態 h(t) 將輸入x(t) 映射到輸出 y(t) 上。
在此,由于SSM被設計于很好地處理連續數據,例如音頻、傳感器數據和圖像,因此x、y、t 是x的函數。
S4通過三個連續參數矩陣A、B和C將它們互聯,具體形式表現為以下兩個方程(Mamba論文中的1a和1b):
由于在實踐中,我們一般都是處理離散數據比如文本,
原文鏈接:Mamba正式被ICLR拒收!“年度最佳技術原理解讀”卻火了
聯系作者
文章來源:量子位
作者微信:QbitAI
作者簡介:追蹤人工智能新趨勢,關注科技行業新突破
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...