自注意力推理缺陷的奧秘，螞蟻自研新一代Transformer或實現無損外推

AIGC動態歡迎閱讀

原標題：自注意力推理缺陷的奧秘，螞蟻自研新一代Transformer或實現無損外推

關鍵字：模型,位置,注意力,長程,論文

文章來源：機器之心

內容字數：18272字

內容摘要：機器之心專欄作者：螞蟻人工智能團隊隨著大語言模型的快速發展，其長度外推能力（length extrapolating）正日益受到研究者的關注。盡管這在 Transformer 誕生之初，被視為天然具備的能力，但隨著相關研究的深入，現實遠非如此。傳統的 Transformer 架構在訓練長度之外無一例外表現出糟糕的推理性能。研究人員逐漸意識到這一缺陷可能與位置編碼（position encoding…

原文鏈接：點此閱讀原文：自注意力推理缺陷的奧秘，螞蟻自研新一代Transformer或實現無損外推

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺