微軟 AI 和清華大學的研究人員提出了一種名為差分 Transformer（DIFF Transformer）的新架構(gòu)，旨在提高大語言模型的性能。

原標題：微軟和清華大學為 LLM 提出了 DIFF Transformer 架構(gòu)
文章來源：AI前線
內(nèi)容字數(shù)：2557字

DIFF Transformer：提升大語言模型性能的新架構(gòu)

近日，微軟 AI 與清華大學的研究人員聯(lián)合提出了一種名為差分 Transformer（DIFF Transformer）的新架構(gòu)，旨在提升大語言模型的性能。該模型通過改進上下文處理方式，有效減少無關(guān)信息干擾，從而增強了注意力機制。

差分注意力機制的創(chuàng)新

DIFF Transformer 的核心特性在于其差分注意力機制。該機制通過對比兩張的注意力圖來計算注意力，使得模型能夠更高效地關(guān)注輸入中的相關(guān)部分。這一創(chuàng)新顯著提升了模型在問答和文本摘要任務中的準確性，展現(xiàn)出更強的性能。

可擴展性與高效性

DIFF Transformer 還具有良好的可擴展性，能夠以更少的訓練資源實現(xiàn)與大型模型相當?shù)男阅堋＿@種高效性特別適合需要處理較長數(shù)據(jù)序列的任務，能夠滿足一次性處理大量信息的需求。

實驗與性能對比

實驗結(jié)果顯示，DIFF Transformer 在語言建模和信息檢索等任務中超越了傳統(tǒng)的 Transformer 模型。通過增強長上下文建模、關(guān)鍵信息檢索、幻覺緩解和上下文學習等功能，該模型提高了在不同數(shù)據(jù)集上的準確率，并增強了對輸入順序變化的魯棒性。這使得 DIFF Transformer 更適合在低資源環(huán)境下應用。

行業(yè)反響與應用前景

多個對比模型，例如 OpenLLaMA-v2-3B、StableLM-base-alpha-3B-v2 和 StableLM-3B-4E1T，顯示出 DIFF Transformer 在零樣本性能方面的優(yōu)勢或相當?shù)谋憩F(xiàn)。AI 研究員和數(shù)據(jù)科學家對其在現(xiàn)實世界中的應用表現(xiàn)出了濃厚的興趣，特別是在需要更多計算資源以提高預測準確度的場景中。

計算成本與預測準確性之間的權(quán)衡

雖然 DIFF Transformer 提升了模型性能，但也引發(fā)了關(guān)于計算成本和預測準確性之間的權(quán)衡討論。該模型需要執(zhí)行兩次注意力操作，可能會導致訓練和推理速度的減慢。然而，有觀點認為這可能在更少的訓練迭代或數(shù)據(jù)條件下帶來更好的結(jié)果。

總之，DIFF Transformer 的推出為大語言模型的研究和應用提供了新的思路，其高效性和準確性使其在未來的 AI 發(fā)展中具有廣闊的前景。

聯(lián)系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發(fā)者和科學家，提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實踐案例，助你全面擁抱AIGC。