網友：趕緊在RAG中試試

原標題：圖結構轉文本序列，大模型直接讀懂！圖推理性能大漲
文章來源：量子位
內容字數：3846字

最新圖線性化方法助力Transformer架構理解復雜圖結構

近期，機器學習工程師Rohan Paul分享了一項關于圖線性化的新方法，該方法旨在將圖（Graph）轉換為適用于Transformer架構的線性token序列。這一研究不僅提升了大語言模型（LLM）對圖結構的理解能力，還為圖推理任務提供了新的思路。

1. 圖線性化的關鍵屬性

這種新方法強調兩個重要屬性：局部依賴性和全局對齊性。局部依賴性確保了模型能夠基于前文上下文預測下一個token，而全局對齊性則要求不同圖的token序列應從有相似特征的token開始或結束，類似于自然語言文本的結構。

2. 具體實現技術

研究團隊提出了多種技術來實現圖的線性化。其中包括：

• 圖中心性方法：根據節點的度和PageRank值對節點進行排序，選擇重要性高的節點及其連接的邊，并隨機排列。
• 圖退化性方法：通過k-core分解對圖進行排序，捕捉圖中的核心部分。
• 邊排序策略：將圖轉換為線圖，對線圖中的節點進行排序以實現線性化。
• 節點重標記策略：對不同圖中重要性相近的節點進行統一重標記，以保持全局對齊。

3. 實驗與評估

作者使用GraphWave生成的數據集進行了評估，生成了3000個包含不同基本形狀的圖。實驗設計了節點計數、最大度計算和圖案形狀分類三項任務，并與基線方法進行了對比。結果顯示，基于度中心性和PageRank的線性化方法在多個任務中表現優異，尤其在節點計數任務中，準確率明顯高于基線方法。

4. 研究結論

研究表明，基于中心性的方法總體優于基于退化性的方法。此外，在節點計數任務中，盡管所有方法的平均誤差較低，但準確率存在差異，顯示出節點重標記策略的效果因任務而異。值得注意的是，one-shot設置的性能普遍低于zero-shot，表明示例并不總是有助于性能提升。

通過這一新方法，LLM在處理復雜圖結構時的表現將進一步改善，為未來的圖推理任務奠定基礎。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破