AIGC動態(tài)歡迎閱讀

原標(biāo)題：MoE再下一城！港大提出AnyGraph：首次開啟「圖大模型」Scaling Law之路
關(guān)鍵字：模型,數(shù)據(jù),專家,特征,方法
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報道編輯：LRST
【新智元導(dǎo)讀】AnyGraph聚焦于解決圖數(shù)據(jù)的核心難題，跨越多種場景、特征和數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。其采用混合專家模型和特征統(tǒng)一方法處理結(jié)構(gòu)和特征異質(zhì)性，通過輕量化路由機(jī)制和高效設(shè)計提升快速適應(yīng)能力，且在泛化能力上符合Scaling Law。圖數(shù)據(jù)，作為一種不可或缺的數(shù)據(jù)表現(xiàn)形式，廣泛滲透于社交網(wǎng)絡(luò)、學(xué)術(shù)科研網(wǎng)絡(luò)、交通管理系統(tǒng)及生物信息網(wǎng)絡(luò)等諸多領(lǐng)域。作為最廣泛應(yīng)用的圖學(xué)習(xí)范式，圖表征學(xué)習(xí)致力于學(xué)習(xí)圖中節(jié)點的表示向量，融合結(jié)構(gòu)特性與節(jié)點特征，以實現(xiàn)精準(zhǔn)的預(yù)測與分析。
近年來涌現(xiàn)出了大量的圖學(xué)習(xí)方法，包括圖神經(jīng)網(wǎng)絡(luò)、圖自監(jiān)督學(xué)習(xí)、圖預(yù)訓(xùn)練和微調(diào)方法、以及圖大語言模型。這些方法不斷精進(jìn)圖學(xué)習(xí)模型的建模能力和預(yù)測精度，近年的一些方法探索了增強(qiáng)圖模型泛化能力的途徑。然而，當(dāng)前方法普遍依賴于復(fù)雜的調(diào)優(yōu)流程，難以靈活應(yīng)對實際圖數(shù)據(jù)復(fù)雜多變的結(jié)構(gòu)與特征特性。當(dāng)圖數(shù)據(jù)涉及多個領(lǐng)域，且模型在訓(xùn)練階段未曾見過時，當(dāng)前模型難以處理，體現(xiàn)了現(xiàn)有方法在跨領(lǐng)域的零樣本預(yù)測任務(wù)上泛化性能的不足。
為了解決這一問題，香港大學(xué)的研究人員提出AnyGraph這一圖基礎(chǔ)模型。論文鏈接：https:/

原文鏈接：MoE再下一城！港大提出AnyGraph：首次開啟「圖大模型」Scaling Law之路

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡介：