LLM蒸餾到GNN，性能提升6.2%！Emory提出大模型蒸餾到文本圖｜CIKM 2024

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：LLM蒸餾到GNN，性能提升6.2%！Emory提出大模型蒸餾到文本圖｜CIKM 2024
關(guān)鍵字：模型,方法,團(tuán)隊(duì),數(shù)據(jù),節(jié)點(diǎn)
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：LRST
【新智元導(dǎo)讀】Emory大學(xué)的研究團(tuán)隊(duì)提出了一種創(chuàng)新的方法，將大語(yǔ)言模型（LLM）在文本圖（Text-Attributed Graph, 縮寫為TAG）學(xué)習(xí)中的強(qiáng)大能力蒸餾到本地模型中，以應(yīng)對(duì)文本圖學(xué)習(xí)中的數(shù)據(jù)稀缺、隱私保護(hù)和成本問題。通過訓(xùn)練一個(gè)解釋器模型來理解LLM的推理過程，并對(duì)學(xué)生模型進(jìn)行對(duì)齊優(yōu)化，在多個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了顯著的性能提升，平均提高了6.2%。近年來，隨著文本屬性圖（TAG）在社交媒體、電子商務(wù)、推薦系統(tǒng)和學(xué)術(shù)引用網(wǎng)絡(luò)等領(lǐng)域的廣泛應(yīng)用，研究人員對(duì)如何有效地從這些復(fù)雜數(shù)據(jù)結(jié)構(gòu)中學(xué)習(xí)變得越來越感興趣。TAG不僅包含了節(jié)點(diǎn)之間的結(jié)構(gòu)關(guān)系，還包含了節(jié)點(diǎn)本身的文本特征，因此如何同時(shí)處理這兩種信息成為研究中的一個(gè)核心問題。
當(dāng)前，圖神經(jīng)網(wǎng)絡(luò)（GNN）在TAG學(xué)習(xí)中得到了廣泛的應(yīng)用，然而其訓(xùn)練過程通常需要大量的人工標(biāo)注數(shù)據(jù)，這在實(shí)際應(yīng)用中往往難以獲取。
大語(yǔ)言模型（LLM）以其在少樣本和零樣本學(xué)習(xí)中的出色表現(xiàn)，為解決數(shù)據(jù)稀缺問題帶來了曙光。然而，LLM的部署和使用成本高昂，且存在隱私數(shù)據(jù)泄露的風(fēng)險(xiǎn)，這使得LLM在一些實(shí)際場(chǎng)景中的應(yīng)用受到了限制。
為了解決

原文鏈接：LLM蒸餾到GNN，性能提升6.2%！Emory提出大模型蒸餾到文本圖｜CIKM 2024