Transformer本可以深謀遠慮，但就是不做

AIGC動態(tài)歡迎閱讀

原標題：Transformer本可以深謀遠慮，但就是不做
關鍵字：模型,語言,緩存,步驟,面包屑
文章來源：機器之心
內(nèi)容字數(shù)：3851字

內(nèi)容摘要：

機器之心報道
機器之心編輯部語言模型是否會規(guī)劃未來 token？這篇論文給你答案。
「別讓 Yann LeCun 看見了。」Yann LeCun 表示太遲了，他已經(jīng)看到了。今天要介紹的這篇 「LeCun 非要看」的論文探討的問題是：Transformer 是深謀遠慮的語言模型嗎？當它在某個位置執(zhí)行推理時，它會預先考慮后面的位置嗎？
這項研究得出的結論是：Transformer 有能力這樣做，但在實踐中不會這樣做。
我們都知道，人類會思而后言。數(shù)十年的語言學研究表明：人類在使用語言時，內(nèi)心會預測即將出現(xiàn)的語言輸入、詞或句子。
不同于人類，現(xiàn)在的語言模型在「說話」時會為每個 token 分配固定的計算量。那么我們不禁要問：語言模型會和人類一樣預先性地思考嗎？
近期的一些研究已經(jīng)表明：可以通過探查語言模型的隱藏狀態(tài)來預測下一 token 之后的更多 token。有趣的是，通過在模型隱藏狀態(tài)上使用線性探針，可以在一定程度上預測模型在未來 token 上的輸出，而干擾隱藏狀態(tài)則可以對未來輸出進行可預測的修改。
這些發(fā)現(xiàn)表明在給定時間步驟的模型激活至少在一定程度上可以預測未來輸出。
但是，我們還不

原文鏈接：Transformer本可以深謀遠慮，但就是不做

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺