陳丹琦團隊揭Transformer內部原理：另辟蹊徑，從構建初代機器人入手

AIGC動態歡迎閱讀

原標題：陳丹琦團隊揭Transformer內部原理：另辟蹊徑，從構建初代機器人入手
關鍵字：模型,隊列,規則,團隊,記憶
文章來源：量子位
內容字數：0字

內容摘要：

一水 發自 凹非寺量子位 | 公眾號 QbitAI好家伙！為了揭秘Transformer內部工作原理，陳丹琦團隊直接復現——
第一個經典機器人ELIZA。
ELIZA編寫于20世紀60年代，主要用于心理治療，在當時似乎已經能“聽懂”人說話。
比如下面這個例子：
可以看出，ELIZA的對話方式“有點狡猾”，像極了看似認真實則敷衍的好閨蜜好兄弟~
由于表現出了早期語言模型行為，且算法簡單，團隊通過成功“復現”ELIZA揭開了Transformer的神秘面紗。
他們在研究中發現：
Transformer模型傾向于使用注意力機制來識別和復制序列中的特定模式，而非嚴格按照詞的位置來復制
即使沒有特別為記憶設計的工具，模型也能通過自己的計算過程來實現記憶效果
更多詳情接下來一睹為快。
復現經典機器人ELIZA動手前第一步，先來簡單了解下ELIZA算法。
ELIZA同時使用本地模式匹配和兩種長期記憶機制（循環遍歷響應和記憶隊列）。
簡單來說，本地模式匹配是指ELIZA有一套關鍵詞和規則，當它看到用戶說的話里包含這些關鍵詞時，就能按照規則給出回應。
而且，ELIZA會記住以前是怎么回答類似問題

原文鏈接：陳丹琦團隊揭Transformer內部原理：另辟蹊徑，從構建初代機器人入手

聯系作者

文章來源：量子位
作者微信：
作者簡介：