深度學習還不如淺層網絡？RL教父Sutton持續反向傳播算法登Nature

AIGC動態歡迎閱讀

原標題：深度學習還不如淺層網絡？RL教父Sutton持續反向傳播算法登Nature
關鍵字：網絡,單元,算法,任務,圖像
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
機器之心編輯部???????人工神經網絡、深度學習方法和反向傳播算法構成了現代機器學習和人工智能的基礎。但現有方法往往是一個階段更新網絡權重，另一個階段在使用或評估網絡時權重保持不變。這與許多需要持續學習的應用程序形成鮮明對比。
最近，一篇發表在《nature》雜志上的研究論文《Loss of plasticity in deep continual learning》證明：標準的深度學習方法在持續學習環境中會逐漸失去可塑性（plasticity），直到它們的學習效果不比淺層網絡好。論文地址：https://www.nature.com/articles/s41586-024-07711-7
值得注意的是，人工智能先驅、強化學、DeepMind 杰出研究科學家，阿爾伯塔大學計算機科學教授 Richard S. Sutton 是這篇論文的作者之一。
簡單來說，該研究使用經典的 ImageNet 數據集、神經網絡和學習算法的各種變體來展示可塑性的喪失。只有通過不斷向網絡注入多樣性的算法才能無限期地維持可塑性?；谶@種思路，該研究還提出了「持續反向傳播算法」，這是反向傳播

原文鏈接：深度學習還不如淺層網絡？RL教父Sutton持續反向傳播算法登Nature

聯系作者

文章來源：機器之心
作者微信：
作者簡介：