AIGC動態(tài)歡迎閱讀

原標題：ICLR 2024 | 連續(xù)學習不怕丟西瓜撿芝麻，神經(jīng)形態(tài)方法保護舊知識
關(guān)鍵字：神經(jīng)元,突觸,神經(jīng),橫向,正交
文章來源：機器之心
內(nèi)容字數(shù)：7093字

內(nèi)容摘要：

機器之心報道
機器之心編輯部以脈沖神經(jīng)網(wǎng)絡（SNN）為代表的腦啟發(fā)神經(jīng)形態(tài)計算（neuromorphic computing）由于計算上的節(jié)能性質(zhì)在最近幾年受到了越來越多的關(guān)注 [1]。受啟發(fā)于人腦中的生物神經(jīng)元，神經(jīng)形態(tài)計算通過模擬并行的存內(nèi)計算、基于脈沖信號的驅(qū)動計算等生物特性，能夠在不同于馮諾依曼架構(gòu)的神經(jīng)形態(tài)芯片上以低功耗實現(xiàn)神經(jīng)網(wǎng)絡計算。
然而，神經(jīng)網(wǎng)絡模型在持續(xù)學習新任務時通常存在對舊任務的災難性遺忘的問題，這和人腦通過終生的連續(xù)學習（continual learning）來不斷積累知識非常不同。如何能夠通過神經(jīng)形態(tài)的計算形式解決連續(xù)學習是一個對人工智能和神經(jīng)科學都很重要的問題，也是構(gòu)建具有持續(xù)學習能力的低功耗 SNN 神經(jīng)形態(tài)計算系統(tǒng)的關(guān)鍵步驟。
此前的連續(xù)學習方法或者從已觀察到的神經(jīng)科學現(xiàn)象獲得啟發(fā)，提出如記憶重放、正則化等方法，但尚不清楚其他廣泛存在的生物法則，如赫布學習（Hebbian Learning）、橫向連接等，如何能夠系統(tǒng)性地支持連續(xù)學習；或者關(guān)注純粹的機器學習方法，例如在高維空間的正交投影以實現(xiàn)有保證的更好的知識保留 [2,3]，但需要復雜的通用計算，

原文鏈接：ICLR 2024 | 連續(xù)學習不怕丟西瓜撿芝麻，神經(jīng)形態(tài)方法保護舊知識

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺