「GPT-4只是在壓縮數據」，馬毅團隊造出白盒Transformer，可解釋的大模型要來了嗎？

AIGC動態歡迎閱讀

原標題：「GPT-4只是在壓縮數據」，馬毅團隊造出白盒Transformer，可解釋的大模型要來了嗎？

關鍵字：表征,編碼器,深度,任務,數據

文章來源：機器之心

內容字數：7933字

內容摘要：機器之心報道編輯：PandaAGI 到底離我們還有多遠？在 ChatGPT 引發的新一輪 AI 爆發之后，一部分研究者指出，大語言模型具備通過觀察進行因果歸納的能力，但缺乏自己主動推理新的因果場景的能力。相比于持樂觀預測的觀點，這意味著 AGI 仍然是一個復雜而遙遠的目標。一直以來，AI 社區內有一種觀點：神經網絡的學習過程可能就只是對數據集的壓縮。近日，伯克利和香港大學的馬毅教授領導的一個研究團隊給出了自己的最新研究結果：包括 GPT-4 在內的當前 AI 系統所做的正是壓縮。通過新提出的深度網絡架構 CRATE，他們通過數學方式驗證了這一點。而更值得注意的是，CRATE 是一種白盒 Transformer，其不僅能在幾乎所有任務上與黑盒 Transformer 相媲美，而且還具備非常出色的可解釋性。基于此，馬毅教授還在 Twitter 上分享了一個有趣的見解：既然當前的 AI 只是在壓…

原文鏈接：點此閱讀原文：「GPT-4只是在壓縮數據」，馬毅團隊造出白盒Transformer，可解釋的大模型要來了嗎？

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺