AIGC動態歡迎閱讀

原標題：原作者帶隊，LSTM真殺回來了！
關鍵字：門控,內存,研究者,單元,空間
文章來源：機器之心
內容字數：5622字

內容摘要：

機器之心報道
編輯：蛋醬LSTM：這次重生，我要奪回 Transformer 拿走的一切。20 世紀 90 年代，長短時記憶（LSTM）方法引入了恒定誤差選擇輪盤和門控的核心思想。三十多年來，LSTM 經受住了時間的考驗，并為眾多深度學習的成功案例做出了貢獻。然而，以可并行自注意力為核心 Transformer 橫空出世之后，LSTM 自身所存在的局限性使其風光不再。
當人們都以為 Transformer 在語言模型領域穩坐江山的時候，LSTM 又殺回來了 —— 這次，是以 xLSTM 的身份。
5 月 8 日，LSTM 提出者和奠基者 Sepp Hochreiter 在 arXiv 上傳了 xLSTM 的預印本論文。論文的所屬機構中還出現了一家叫做「NXAI」的公司，Sepp Hochreiter 表示：「借助 xLSTM，我們縮小了與現有最先進 LLM 的差距。借助 NXAI，我們已開始構建自己的歐洲 LLM。」論文標題：xLSTM: Extended Long Short-Term Memory
論文鏈接：https://arxiv.org/pdf/2405.04517
具體來說

原文鏈接：原作者帶隊，LSTM真殺回來了！

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺