ICLR 2024 | 連續(xù)學(xué)習(xí)不怕丟西瓜撿芝麻，神經(jīng)形態(tài)方法保護(hù)舊知識(shí)

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：ICLR 2024 | 連續(xù)學(xué)習(xí)不怕丟西瓜撿芝麻，神經(jīng)形態(tài)方法保護(hù)舊知識(shí)
關(guān)鍵字：神經(jīng)元,突觸,神經(jīng),橫向,正交
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：7093字

內(nèi)容摘要：

機(jī)器之心報(bào)道
機(jī)器之心編輯部以脈沖神經(jīng)網(wǎng)絡(luò)（SNN）為代表的腦啟發(fā)神經(jīng)形態(tài)計(jì)算（neuromorphic computing）由于計(jì)算上的節(jié)能性質(zhì)在最近幾年受到了越來(lái)越多的關(guān)注 [1]。受啟發(fā)于人腦中的生物神經(jīng)元，神經(jīng)形態(tài)計(jì)算通過(guò)模擬并行的存內(nèi)計(jì)算、基于脈沖信號(hào)的驅(qū)動(dòng)計(jì)算等生物特性，能夠在不同于馮諾依曼架構(gòu)的神經(jīng)形態(tài)芯片上以低功耗實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)計(jì)算。
然而，神經(jīng)網(wǎng)絡(luò)模型在持續(xù)學(xué)習(xí)新任務(wù)時(shí)通常存在對(duì)舊任務(wù)的災(zāi)難性遺忘的問(wèn)題，這和人腦通過(guò)終生的連續(xù)學(xué)習(xí)（continual learning）來(lái)不斷積累知識(shí)非常不同。如何能夠通過(guò)神經(jīng)形態(tài)的計(jì)算形式解決連續(xù)學(xué)習(xí)是一個(gè)對(duì)人工智能和神經(jīng)科學(xué)都很重要的問(wèn)題，也是構(gòu)建具有持續(xù)學(xué)習(xí)能力的低功耗 SNN 神經(jīng)形態(tài)計(jì)算系統(tǒng)的關(guān)鍵步驟。
此前的連續(xù)學(xué)習(xí)方法或者從已觀察到的神經(jīng)科學(xué)現(xiàn)象獲得啟發(fā)，提出如記憶重放、正則化等方法，但尚不清楚其他廣泛存在的生物法則，如赫布學(xué)習(xí)（Hebbian Learning）、橫向連接等，如何能夠系統(tǒng)性地支持連續(xù)學(xué)習(xí)；或者關(guān)注純粹的機(jī)器學(xué)習(xí)方法，例如在高維空間的正交投影以實(shí)現(xiàn)有保證的更好的知識(shí)保留 [2,3]，但需要復(fù)雜的通用計(jì)算，

原文鏈接：ICLR 2024 | 連續(xù)學(xué)習(xí)不怕丟西瓜撿芝麻，神經(jīng)形態(tài)方法保護(hù)舊知識(shí)

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)