AIGC動態歡迎閱讀

原標題：Jurgen、曼寧等大佬新作：MoE重塑6年前的Universal Transformer，高效升級
關鍵字：研究者,專家,模型,參數,注意力
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：杜偉、蛋醬7 年前，谷歌在論文《Attention is All You Need》中提出了 Transformer。就在 Transformer 提出的第二年，谷歌又發布了 Universal Transformer（UT）。它的核心特征是通過跨層共享參數來實現深度循環，從而重新引入了 RNN 具有的循環表達能力。層共享使得 UT 在邏輯推理任務等組合問題上的表現優于 Transformer，同時還在小規模語言建模和翻譯任務上得到改進。
UT 已被證明具有更好的組合泛化特性，能夠在無監督的情況下解構結構化問題并泛化到更長的序列。因此與 Transformer 相比，UT 是一種具有卓越泛化特性的通用性更強的架構。
但 UT 的計算效率遠低于標準 Transformer，不適合當前語言建模等以參數為王的任務。那么，我們能不能開發出計算效率更高的 UT 模型，并這類任務上實現比標準 Transformer 更具競爭力的性能呢？
近日，包括 LSTM 之父 Jürgen Schmidhuber、斯坦福大學教授 Christopher Manning 等在內的研究者從全新

原文鏈接：Jurgen、曼寧等大佬新作：MoE重塑6年前的Universal Transformer，高效升級

聯系作者

文章來源：機器之心
作者微信：
作者簡介：