智能的本質就是壓縮？馬毅團隊5年心血提出「白盒」Transformer， 打開LLM黑盒！

AIGC動態歡迎閱讀

原標題：智能的本質就是壓縮？馬毅團隊5年心血提出「白盒」Transformer， 打開LLM黑盒！

關鍵字：研究人員,模型,架構,表征,編碼器

文章來源：新智元

內容字數：8585字

內容摘要：新智元報道編輯：潤 桃子【新智元導讀】來自UC伯克利，港大等機構的研究人員，開創性地提出了一種「白盒」Transformer結構——CRATE。他們通過將數據從高維度分布壓縮到低維結構分布，實現有效的表征，從而進一步實現了有競爭力的模型性能。這也引發了一個更為深遠的討論——難道智能的本質就是壓縮嗎？AI界大佬對于大模型的安全問題一直以來爭吵不休，全都歸咎于神經網絡「黑盒」，讓所有人捉摸不透?，F實中，如果能找到一種構架，兼具Transformer的結構和功能性優勢，又有極好的可解釋性。那么，大模型的安全性問題，是不是就有解了？為了消除未來超級AI給人類帶來的風險，Hinton等人大肆鼓吹「AI末日論」，也許能吸引公眾注意力，促進達成。但最終解決問題，必須要從技術層面找到能「徹底消滅」AI風險的可行路徑。拆解大模型「黑盒」，就成了最關鍵一步。由馬毅教授帶領的來自UC伯克利，TTIC，上科大…

原文鏈接：點此閱讀原文：智能的本質就是壓縮？馬毅團隊5年心血提出「白盒」Transformer， 打開LLM黑盒！

聯系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。