引入注意力機制有效避免情景特征中的噪聲干擾

原標題：以1.7K深圳小區房價為例，浙大GIS實驗室使用注意力機制挖掘地理情景特征，提升空間非平穩回歸精度
文章來源：HyperAI超神經
內容字數：6728字

浙江省GIS重點實驗室基于注意力機制的深度學習模型CatGWR

本文介紹了浙江省GIS重點實驗室研究人員提出的基于注意力機制的深度學習模型CatGWR，該模型用于更準確地估計空間非平穩性，并取得了顯著成果。

1. 傳統GWR的局限性

傳統的地理加權回歸(GWR)模型主要基于空間距離計算權重，忽略了地理現象中復雜的情境相似性，例如社會經濟因素或環境特征的相似性，導致模型精度受限。

2. CatGWR模型的創新

CatGWR模型通過引入注意力機制，將樣本之間的空間距離和情境相似性相結合，從而更準確地估計空間非平穩性。該模型有效地避免了情景特征中的噪聲干擾，得到更精準的相似性表達，并在模擬和實證數據集上都展現出顯著的精度提升。

3. 模型架構

CatGWR模型包含三個模塊：預處理模塊、放大模塊和回歸模塊。預處理模塊提取數據并計算空間權重；放大模塊擴展模型的感受野；回歸模塊利用注意力機制計算情境相似性，并結合空間權重得到情景化空間權重，最終利用多層感知機(MLP)實現空間非平穩性的估計。

4. 實驗結果與應用

研究團隊通過模擬實驗和深圳房價數據實證研究驗證了CatGWR模型的有效性。模擬實驗結果表明，在情景化場景中，CatGWR模型顯著優于GWR、MGWR、CGWR和GNNWR等現有模型；在非情景化場景中，CatGWR模型也表現出色。深圳房價案例研究顯示，CatGWR模型的R2值顯著提高，RMSE和MAE均大幅降低。此外，CatGWR模型還揭示了深圳房價決定因素的空間非平穩性，例如深圳灣附近配套停車位數量對房價的影響更為顯著，這反映了深圳市的城市建設和分區特點。

5. 研究團隊及相關工作

浙江省GIS重點實驗室長期致力于AI與地球科學交叉學科研究，此前已提出GNNWR、GTNNWR等模型，并在多個領域得到廣泛應用。該實驗室的研究人員強調，模型的科學解釋性至關重要，CatGWR模型不僅能進行房價預測，更能幫助理解地理過程和地理現象背后的意義。

6. 開源與資源

CatGWR模型的代碼和數據均已開源，方便其他研究者使用和改進。文章也提供了相關論文和學術直播的信息。

總之，CatGWR模型的提出為地理空間建模提供了新的視角，其在處理復雜地理現象時能夠更好地捕捉空間異質性和情境影響，具有重要的理論意義和應用價值。

聯系作者

文章來源：HyperAI超神經
作者微信：
作者簡介：解構技術先進性與普適性，報道更前沿的 AIforScience 案例