超過ConvNeXt，CSWin等！上海交大提出Transformer架構新SOTA：SeTformer！

AIGC動態歡迎閱讀

原標題：超過ConvNeXt，CSWin等！上海交大提出Transformer架構新SOTA：SeTformer！
關鍵字：模型,卷積,矩陣,特征,參數
文章來源：算法邦
內容字數：7178字

內容摘要：

直播預告 | 1月22日晚7點，「自動駕駛新青年講座」第35講正式開講，LMDrive一作、香港中文大學MMLab在讀博士邵昊將主講《LMDrive：大語言模型加持的閉環端到端自動駕駛框架》，歡迎掃名~論文鏈接：https://arxiv.org/pdf/2401.03540.pd
01引言Transformer（變壓器）最初是用于自然語言處理（NLP）的技術，在視覺領域得到了顯著的流行，這要歸功于Vision Transformer（ViT）的開創性工作它的優勢已經在各種視覺任務中得到了證明，包括圖像分類、目標檢測、分割等。對于捕獲長距離依賴關系，點積自注意力（DPSA）與softmax歸一化在transformer中起著至關重要的作用。然而，該模型的計算導致了二次時間和內存復雜度，使得訓練長序列模型變得困難。
02簡介本文提出了SeTformer，一種新的transformer，其中DPSA完全被Self-optimal Transport (SeT)取代，以實現更好的性能和計算效率。SeT基于兩個基本的softmax屬性：保持非負的注意力矩陣和使用非線性的重新加權機制來強調輸

原文鏈接：超過ConvNeXt，CSWin等！上海交大提出Transformer架構新SOTA：SeTformer！

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關注大模型、生成式AI、計算機視覺三大領域的研究與開發，提供技術文章、講座、在線研討會。