Token化一切，甚至網絡！北大&谷歌&馬普所提出TokenFormer，Transformer從來沒有這么靈活過！

AIGC動態歡迎閱讀

原標題：Token化一切，甚至網絡！北大&谷歌&馬普所提出TokenFormer，Transformer從來沒有這么靈活過！
關鍵字：模型,靈活性,增量,參數,團隊
文章來源：機器之心
內容字數：0字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本論文第一作者是汪海洋，北京大學20級博士生，目前主要關注是通用模型的架構設計和學習算法。指導教授主要包括王立威，北京大學智能學院教授；Bernt Schiele，德國馬普計算所教授；Federico Tombari 谷歌人工智能科學家等。
新一代通用靈活的網絡結構 TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters 來啦！
TokenFormer不僅像原始 Transformer 一樣 Token 化了 input data，并且 Token 化了網絡參數，將 attention 機制拓展到 Token 和 parameters 的交互中，最大化了 Trans

原文鏈接：Token化一切，甚至網絡！北大&谷歌&馬普所提出TokenFormer，Transformer從來沒有這么靈活過！

聯系作者

文章來源：機器之心
作者微信：
作者簡介：