LLM蒸餾到GNN，性能提升6.2%！Emory提出大模型蒸餾到文本圖｜CIKM 2024

AIGC動態歡迎閱讀

原標題：LLM蒸餾到GNN，性能提升6.2%！Emory提出大模型蒸餾到文本圖｜CIKM 2024
關鍵字：模型,方法,團隊,數據,節點
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：LRST
【新智元導讀】Emory大學的研究團隊提出了一種創新的方法，將大語言模型（LLM）在文本圖（Text-Attributed Graph, 縮寫為TAG）學習中的強大能力蒸餾到本地模型中，以應對文本圖學習中的數據稀缺、隱私保護和成本問題。通過訓練一個解釋器模型來理解LLM的推理過程，并對學生模型進行對齊優化，在多個數據集上實現了顯著的性能提升，平均提高了6.2%。近年來，隨著文本屬性圖（TAG）在社交媒體、電子商務、推薦系統和學術引用網絡等領域的廣泛應用，研究人員對如何有效地從這些復雜數據結構中學習變得越來越感興趣。TAG不僅包含了節點之間的結構關系，還包含了節點本身的文本特征，因此如何同時處理這兩種信息成為研究中的一個核心問題。
當前，圖神經網絡（GNN）在TAG學習中得到了廣泛的應用，然而其訓練過程通常需要大量的人工標注數據，這在實際應用中往往難以獲取。
大語言模型（LLM）以其在少樣本和零樣本學習中的出色表現，為解決數據稀缺問題帶來了曙光。然而，LLM的部署和使用成本高昂，且存在隱私數據泄露的風險，這使得LLM在一些實際場景中的應用受到了限制。
為了解決

原文鏈接：LLM蒸餾到GNN，性能提升6.2%！Emory提出大模型蒸餾到文本圖｜CIKM 2024

聯系作者

文章來源：新智元
作者微信：
作者簡介：