陳丹琦團(tuán)隊(duì)揭Transformer內(nèi)部原理：另辟蹊徑，從構(gòu)建初代機(jī)器人入手

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：陳丹琦團(tuán)隊(duì)揭Transformer內(nèi)部原理：另辟蹊徑，從構(gòu)建初代機(jī)器人入手
關(guān)鍵字：模型,隊(duì)列,規(guī)則,團(tuán)隊(duì),記憶
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

一水 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI好家伙！為了揭秘Transformer內(nèi)部工作原理，陳丹琦團(tuán)隊(duì)直接復(fù)現(xiàn)——
第一個(gè)經(jīng)典機(jī)器人ELIZA。
ELIZA編寫(xiě)于20世紀(jì)60年代，主要用于心理治療，在當(dāng)時(shí)似乎已經(jīng)能“聽(tīng)懂”人說(shuō)話。
比如下面這個(gè)例子：
可以看出，ELIZA的對(duì)話方式“有點(diǎn)狡猾”，像極了看似認(rèn)真實(shí)則敷衍的好閨蜜好兄弟~
由于表現(xiàn)出了早期語(yǔ)言模型行為，且算法簡(jiǎn)單，團(tuán)隊(duì)通過(guò)成功“復(fù)現(xiàn)”ELIZA揭開(kāi)了Transformer的神秘面紗。
他們?cè)谘芯恐邪l(fā)現(xiàn)：
Transformer模型傾向于使用注意力機(jī)制來(lái)識(shí)別和復(fù)制序列中的特定模式，而非嚴(yán)格按照詞的位置來(lái)復(fù)制
即使沒(méi)有特別為記憶設(shè)計(jì)的工具，模型也能通過(guò)自己的計(jì)算過(guò)程來(lái)實(shí)現(xiàn)記憶效果
更多詳情接下來(lái)一睹為快。
復(fù)現(xiàn)經(jīng)典機(jī)器人ELIZA動(dòng)手前第一步，先來(lái)簡(jiǎn)單了解下ELIZA算法。
ELIZA同時(shí)使用本地模式匹配和兩種長(zhǎng)期記憶機(jī)制（循環(huán)遍歷響應(yīng)和記憶隊(duì)列）。
簡(jiǎn)單來(lái)說(shuō)，本地模式匹配是指ELIZA有一套關(guān)鍵詞和規(guī)則，當(dāng)它看到用戶說(shuō)的話里包含這些關(guān)鍵詞時(shí)，就能按照規(guī)則給出回應(yīng)。
而且，ELIZA會(huì)記住以前是怎么回答類似問(wèn)題

原文鏈接：陳丹琦團(tuán)隊(duì)揭Transformer內(nèi)部原理：另辟蹊徑，從構(gòu)建初代機(jī)器人入手

聯(lián)系作者

文章來(lái)源：量子位
作者微信：
作者簡(jiǎn)介：