物理傳熱啟發的視覺表征模型vHeat來了，嘗試突破注意力機制，兼具低復雜度、全局感受野

AIGC動態歡迎閱讀

原標題：物理傳熱啟發的視覺表征模型vHeat來了，嘗試突破注意力機制，兼具低復雜度、全局感受野
關鍵字：熱傳導,復雜度,模型,視覺,性能
文章來源：機器之心
內容字數：0字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文作者為VMamba的原班人馬，其中第一作者王兆植是中國科學院大學和鵬城實驗室的2022級聯合培養博士生，共同一作劉悅是中國科學院大學2021級直博生。他們的主要研究方向是視覺模型設計和自監督學習。
如何突破 Transformer 的 Attention 機制？中國科學院大學與鵬城國家實驗室提出基于熱傳導的視覺表征模型 vHeat。將圖片特征塊視為熱源，并通過預測熱傳導率、以物理學熱傳導原理提取圖像特征。相比于基于Attention機制的視覺模型， vHeat 同時兼顧了：計算復雜度（1.5次方）、全局感受野、物理可解釋性。
vHeat-base 模型在高分辨率圖像輸入時，throughput、GPU 顯存占用、flops 分別是 Swin-base 模型

原文鏈接：物理傳熱啟發的視覺表征模型vHeat來了，嘗試突破注意力機制，兼具低復雜度、全局感受野

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺