RNN回歸！Bengio新作大道至簡與Transformer一較高下

AIGC動態歡迎閱讀

原標題：RNN回歸！Bengio新作大道至簡與Transformer一較高下
關鍵字：門控,模型,時間,序列,任務
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：alan
【新智元導讀】近日，深度學習三巨頭之一的Yoshua Bengio，帶領團隊推出了全新的RNN架構，以大道至簡的思想與Transformer一較高下。在Transformer統治的AI時代之下，
散落在世界各地的「RNN神教」信徒，一直相信并期待著RNN回歸的那天：
畢竟，憑借強大的順序和上下文感知能力，RNN曾在各種任務中表現驚艷。
直到后來遭遇了反向訓練的瓶頸，因Scaling Law而跌落神壇。
然而，人們并沒有忘記RNN。
RWKV、Mamba、xLSTM等RNN衍生模型接連出現，欲挑戰Transformer之霸主地位。
就在近日，又有重量級人物下場——
深度學習三巨頭之一的Yoshua Bengio，帶領團隊推出了全新的RNN架構，以大道至簡的思想與Transformer一較高下。
論文地址：https://arxiv.org/pdf/2410.01201v1
研究人員對傳統的兩種RNN架構LSTM和GRU，進行了大刀闊斧的改造，從中誕生了兩個新模型：minLSTM和minGRU。
這倆極簡主義的版本到底怎么樣？咱們先看療效。
首先是RNN最大的問

原文鏈接：RNN回歸！Bengio新作大道至簡與Transformer一較高下

聯系作者

文章來源：新智元
作者微信：
作者簡介：