深度學習還不如淺層網(wǎng)絡？RL教父Sutton持續(xù)反向傳播算法登Nature

AIGC動態(tài)歡迎閱讀

原標題：深度學習還不如淺層網(wǎng)絡？RL教父Sutton持續(xù)反向傳播算法登Nature
關鍵字：網(wǎng)絡,單元,算法,任務,圖像
文章來源：機器之心
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

機器之心報道
機器之心編輯部???????人工神經(jīng)網(wǎng)絡、深度學習方法和反向傳播算法構成了現(xiàn)代機器學習和人工智能的基礎。但現(xiàn)有方法往往是一個階段更新網(wǎng)絡權重，另一個階段在使用或評估網(wǎng)絡時權重保持不變。這與許多需要持續(xù)學習的應用程序形成鮮明對比。
最近，一篇發(fā)表在《nature》雜志上的研究論文《Loss of plasticity in deep continual learning》證明：標準的深度學習方法在持續(xù)學習環(huán)境中會逐漸失去可塑性（plasticity），直到它們的學習效果不比淺層網(wǎng)絡好。論文地址：https://www.nature.com/articles/s41586-024-07711-7
值得注意的是，人工智能先驅(qū)、強化學、DeepMind 杰出研究科學家，阿爾伯塔大學計算機科學教授 Richard S. Sutton 是這篇論文的作者之一。
簡單來說，該研究使用經(jīng)典的 ImageNet 數(shù)據(jù)集、神經(jīng)網(wǎng)絡和學習算法的各種變體來展示可塑性的喪失。只有通過不斷向網(wǎng)絡注入多樣性的算法才能無限期地維持可塑性。基于這種思路，該研究還提出了「持續(xù)反向傳播算法」，這是反向傳播

原文鏈接：深度學習還不如淺層網(wǎng)絡？RL教父Sutton持續(xù)反向傳播算法登Nature

聯(lián)系作者

文章來源：機器之心
作者微信：
作者簡介：