AIGC動態歡迎閱讀

原標題：?丟掉注意力的擴散模型：Mamba帶火的SSM被蘋果、康奈爾盯上了

關鍵字：模型,架構,注意力,圖像,序列

文章來源：機器之心

內容字數：6975字

內容摘要：機器之心報道機器之心編輯部替代注意力機制，SSM 真的大有可為？為了用更少的算力讓擴散模型生成高分辨率圖像，注意力機制可以不要，這是康奈爾大學和蘋果的一項最新研究所給出的結論。眾所周知，注意力機制是 Transformer 架構的核心組件，對于高質量的文本、圖像生成都至關重要。但它的缺陷也很明顯，即計算復雜度會隨著序列長度的增加呈現二次方增長。這在長文本、高分辨率的圖像處理中都是一個令人頭疼的問題。為了解決這個問題，這項新研究用一個可擴展性更強的狀態空間模型（SSM）主干替代了傳統架構中的注意力機制，開發出了一個名為 Diffusion State Space Model（DIFFUSSM）的新架構。這種新架構可以使用更少的算力，媲美或超越具有注意力模塊的現有擴散模型的圖像生成效果，出色地生成高分辨率圖像。得益于上周的發布，狀態空間模型 SSM 正受到越來越多的關注。Mamba 的核心在于…

原文鏈接：點此閱讀原文：?丟掉注意力的擴散模型：Mamba帶火的SSM被蘋果、康奈爾盯上了

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺