ICLR 2024 | 連續學習不怕丟西瓜撿芝麻，神經形態方法保護舊知識

AIGC動態歡迎閱讀

原標題：ICLR 2024 | 連續學習不怕丟西瓜撿芝麻，神經形態方法保護舊知識
關鍵字：神經元,突觸,神經,橫向,正交
文章來源：機器之心
內容字數：7093字

內容摘要：

機器之心報道
機器之心編輯部以脈沖神經網絡（SNN）為代表的腦啟發神經形態計算（neuromorphic computing）由于計算上的節能性質在最近幾年受到了越來越多的關注 [1]。受啟發于人腦中的生物神經元，神經形態計算通過模擬并行的存內計算、基于脈沖信號的驅動計算等生物特性，能夠在不同于馮諾依曼架構的神經形態芯片上以低功耗實現神經網絡計算。
然而，神經網絡模型在持續學習新任務時通常存在對舊任務的災難性遺忘的問題，這和人腦通過終生的連續學習（continual learning）來不斷積累知識非常不同。如何能夠通過神經形態的計算形式解決連續學習是一個對人工智能和神經科學都很重要的問題，也是構建具有持續學習能力的低功耗 SNN 神經形態計算系統的關鍵步驟。
此前的連續學習方法或者從已觀察到的神經科學現象獲得啟發，提出如記憶重放、正則化等方法，但尚不清楚其他廣泛存在的生物法則，如赫布學習（Hebbian Learning）、橫向連接等，如何能夠系統性地支持連續學習；或者關注純粹的機器學習方法，例如在高維空間的正交投影以實現有保證的更好的知識保留 [2,3]，但需要復雜的通用計算，

原文鏈接：ICLR 2024 | 連續學習不怕丟西瓜撿芝麻，神經形態方法保護舊知識

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺