解決Transformer根本缺陷，CoPE論文爆火：所有大模型都能獲得巨大改進

AIGC動態歡迎閱讀

原標題：解決Transformer根本缺陷，CoPE論文爆火：所有大模型都能獲得巨大改進
關鍵字：位置,上下文,向量,任務,方法
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
機器之心編輯部即使最強大的 LLM 也難以通過 token 索引來關注句子等概念，現在有辦法了。最近兩天，馬斯克和 LeCun 的口水戰妥妥成為大家的看點。這兩位 AI 圈的名人你來我往，在（現為 X）上相互拆對方臺。LeCun 在宣傳自家最新論文時，也不忘手動 @ 一把馬斯克，并意味深長地囑咐道：「馬斯克，我們這項研究用來改善你家的 Grok 也沒問題。」LeCun 宣傳的這篇論文題目為《 Contextual Position Encoding: Learning to Count What’s Important 》，來自 Meta 的 FAIR。
罵戰歸罵戰，這篇論文的重要性不言而喻。短短 24 小時之內就成為了 AI 領域最熱門的論文之一。它有望解決如今大模型（LLM）最讓人頭疼的問題。論文地址：https://arxiv.org/pdf/2405.18719
總的來說，該研究提出了一種新的用于 transformer 的位置編碼方法 CoPE（全稱 Contextual Position Encoding），解決了標準 transformer 無法解決的計

原文鏈接：解決Transformer根本缺陷，CoPE論文爆火：所有大模型都能獲得巨大改進

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺