「GPT-4只是在壓縮數(shù)據(jù)」，馬毅團(tuán)隊(duì)造出白盒Transformer，可解釋的大模型要來了嗎？

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：「GPT-4只是在壓縮數(shù)據(jù)」，馬毅團(tuán)隊(duì)造出白盒Transformer，可解釋的大模型要來了嗎？

關(guān)鍵字：表征,編碼器,深度,任務(wù),數(shù)據(jù)

文章來源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：7933字

內(nèi)容摘要：機(jī)器之心報(bào)道編輯：PandaAGI 到底離我們還有多遠(yuǎn)？在 ChatGPT 引發(fā)的新一輪 AI 爆發(fā)之后，一部分研究者指出，大語言模型具備通過觀察進(jìn)行因果歸納的能力，但缺乏自己主動(dòng)推理新的因果場(chǎng)景的能力。相比于持樂觀預(yù)測(cè)的觀點(diǎn)，這意味著 AGI 仍然是一個(gè)復(fù)雜而遙遠(yuǎn)的目標(biāo)。一直以來，AI 社區(qū)內(nèi)有一種觀點(diǎn)：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程可能就只是對(duì)數(shù)據(jù)集的壓縮。近日，伯克利和香港大學(xué)的馬毅教授領(lǐng)導(dǎo)的一個(gè)研究團(tuán)隊(duì)給出了自己的最新研究結(jié)果：包括 GPT-4 在內(nèi)的當(dāng)前 AI 系統(tǒng)所做的正是壓縮。通過新提出的深度網(wǎng)絡(luò)架構(gòu) CRATE，他們通過數(shù)學(xué)方式驗(yàn)證了這一點(diǎn)。而更值得注意的是，CRATE 是一種白盒 Transformer，其不僅能在幾乎所有任務(wù)上與黑盒 Transformer 相媲美，而且還具備非常出色的可解釋性。基于此，馬毅教授還在 Twitter 上分享了一個(gè)有趣的見解：既然當(dāng)前的 AI 只是在壓…

原文鏈接：點(diǎn)此閱讀原文：「GPT-4只是在壓縮數(shù)據(jù)」，馬毅團(tuán)隊(duì)造出白盒Transformer，可解釋的大模型要來了嗎？

聯(lián)系作者

文章來源：機(jī)器之心

作者微信：almosthuman2014

作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)