DeepMind指出「Transformer無法超出預訓練數據實現泛化」，但有人投來質疑

AIGC動態歡迎閱讀

原標題：DeepMind指出「Transformer無法超出預訓練數據實現泛化」，但有人投來質疑

關鍵字：函數,模型,線性,上下文,研究者

文章來源：機器之心

內容字數：6717字

內容摘要：機器之心報道編輯：蛋醬難道 Transformer注定無法解決「訓練數據」之外的新問題？說起大語言模型所展示的令人印象深刻的能力，其中之一就是通過提供上下文中的樣本，要求模型根據最終提供的輸入生成一個響應，從而實現少樣本學習的能力。這一點依靠的是底層機器學習技術「Transformer 模型」，并且它們也能在語言以外的領域執行上下文學習任務。以往的經驗表明，對于在預訓練混合體中得到充分體現的任務族…

原文鏈接：點此閱讀原文：DeepMind指出「Transformer無法超出預訓練數據實現泛化」，但有人投來質疑

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺