AIGC動態(tài)歡迎閱讀

原標(biāo)題：原作者帶隊，LSTM卷土重來之Vision-LSTM出世
關(guān)鍵字：序列,模型,性能,視覺,補丁
文章來源：機器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

機器之心報道
編輯：鴨梨、蛋醬與 DeiT 等使用 ViT 和 Vision-Mamba (Vim) 方法的模型相比，ViL 的性能更勝一籌。
AI 領(lǐng)域的研究者應(yīng)該還記得，在 Transformer 誕生后的三年，谷歌將這一自然語言處理屆的重要研究擴展到了視覺領(lǐng)域，也就是 Vision Transformer。后來，ViT 被廣泛用作計算機視覺中的通用骨干。
這種跨界，對于前不久發(fā)布的 xLSTM 來說同樣可以實現(xiàn)。最近，享譽數(shù)十年的 LSTM 被擴展到一個可擴展且性能良好的架構(gòu) ——xLSTM，通過指數(shù)門控和可并行化的矩陣內(nèi)存結(jié)構(gòu)克服了長期存在的 LSTM 限制。現(xiàn)在，這一成果已經(jīng)擴展到視覺領(lǐng)域。xLSTM和Vision-LSTM 兩項研究均由 LSTM 原作者帶隊，也就是LSTM 的提出者和奠基者Sepp Hochreiter。
在最近的這篇論文中，Sepp Hochreiter 等人推出了 Vision-LSTM（ViL）。ViL 包含一堆 xLSTM 塊，其中奇數(shù)塊從上到下、偶數(shù)塊則從下到上處理補丁 token 序列。論文題目：Vision-LSTM: xLSTM as Ge

原文鏈接：原作者帶隊，LSTM卷土重來之Vision-LSTM出世

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺