ICML 2024丨多軌圖卷積網(wǎng)絡(luò)：解決過平滑與過碾壓的新思路

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：ICML 2024丨多軌圖卷積網(wǎng)絡(luò)：解決過平滑與過碾壓的新思路
關(guān)鍵字：節(jié)點(diǎn),消息,軌道,語(yǔ)義,問題
文章來(lái)源：AI科技評(píng)論
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks）是強(qiáng)大的圖（關(guān)系與交互系統(tǒng)）分析工具，已成功應(yīng)用在推薦系統(tǒng)、金融風(fēng)控、知識(shí)工程、分子動(dòng)力學(xué)模擬、芯片設(shè)計(jì)等諸多領(lǐng)域。絕大多數(shù)GNNs利用消息傳遞（Message Passing）框架實(shí)現(xiàn)拓?fù)涓兄靶畔⑷诤希摽蚣艿暮诵氖窍⒕酆吓c轉(zhuǎn)換模塊。然而，相較于計(jì)算機(jī)視覺與自然語(yǔ)言處理領(lǐng)域的大模型，當(dāng)前GNNs模型層數(shù)較淺，未能充分發(fā)掘出模型的表達(dá)潛力。
過平滑（Oversmoothing）和過碾壓（Oversquashing）問題使得難以通過堆疊多層的方式構(gòu)建深層的GNNs。過平滑是指隨著消息聚合次數(shù)的增加，節(jié)點(diǎn)表示變得無(wú)法相互區(qū)分；過碾壓是指在來(lái)自遠(yuǎn)端節(jié)點(diǎn)的信息被過度壓縮在有限長(zhǎng)度的表示向量中，這阻礙了對(duì)圖中長(zhǎng)程依賴關(guān)系的捕獲。
現(xiàn)有解決過平滑與過碾壓的工作大多基于以下3類策略。（1）圖重寫（Graph rewiring）策略通過刪邊[1][2]或增邊[3][4]的方式優(yōu)化圖的拓?fù)浣Y(jié)構(gòu)。Graph transformer模型也可以看做是一種基于attention的增邊方式。（2）正則項(xiàng)策略通過約束節(jié)點(diǎn)表示[5]或者信息流[6]的方式，避

原文鏈接：ICML 2024丨多軌圖卷積網(wǎng)絡(luò)：解決過平滑與過碾壓的新思路

聯(lián)系作者

文章來(lái)源：AI科技評(píng)論
作者微信：
作者簡(jiǎn)介：