顛覆傳統：DIFF Transformer 架構引領大語言模型的新紀元

微軟 AI 和清華大學的研究人員提出了一種名為差分 Transformer（DIFF Transformer）的新架構，旨在提高大語言模型的性能。

原標題：微軟和清華大學為 LLM 提出了 DIFF Transformer 架構
文章來源：AI前線
內容字數：2557字

DIFF Transformer：提升大語言模型性能的新架構

近日，微軟 AI 與清華大學的研究人員聯合提出了一種名為差分 Transformer（DIFF Transformer）的新架構，旨在提升大語言模型的性能。該模型通過改進上下文處理方式，有效減少無關信息干擾，從而增強了注意力機制。

差分注意力機制的創新

DIFF Transformer 的核心特性在于其差分注意力機制。該機制通過對比兩張的注意力圖來計算注意力，使得模型能夠更高效地關注輸入中的相關部分。這一創新顯著提升了模型在問答和文本摘要任務中的準確性，展現出更強的性能。

可擴展性與高效性

DIFF Transformer 還具有良好的可擴展性，能夠以更少的訓練資源實現與大型模型相當的性能。這種高效性特別適合需要處理較長數據序列的任務，能夠滿足一次性處理大量信息的需求。

實驗與性能對比

實驗結果顯示，DIFF Transformer 在語言建模和信息檢索等任務中超越了傳統的 Transformer 模型。通過增強長上下文建模、關鍵信息檢索、幻覺緩解和上下文學習等功能，該模型提高了在不同數據集上的準確率，并增強了對輸入順序變化的魯棒性。這使得 DIFF Transformer 更適合在低資源環境下應用。

行業反響與應用前景

多個對比模型，例如 OpenLLaMA-v2-3B、StableLM-base-alpha-3B-v2 和 StableLM-3B-4E1T，顯示出 DIFF Transformer 在零樣本性能方面的優勢或相當的表現。AI 研究員和數據科學家對其在現實世界中的應用表現出了濃厚的興趣，特別是在需要更多計算資源以提高預測準確度的場景中。

計算成本與預測準確性之間的權衡

雖然 DIFF Transformer 提升了模型性能，但也引發了關于計算成本和預測準確性之間的權衡討論。該模型需要執行兩次注意力操作，可能會導致訓練和推理速度的減慢。然而，有觀點認為這可能在更少的訓練迭代或數據條件下帶來更好的結果。

總之，DIFF Transformer 的推出為大語言模型的研究和應用提供了新的思路，其高效性和準確性使其在未來的 AI 發展中具有廣闊的前景。

聯系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例，助你全面擁抱AIGC。