輕量級(jí)持續(xù)學(xué)習(xí): 0.6%額外參數(shù)把舊模型重編程到新任務(wù)

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：輕量級(jí)持續(xù)學(xué)習(xí): 0.6%額外參數(shù)把舊模型重編程到新任務(wù)

關(guān)鍵字：任務(wù),卷積,參數(shù),模型,研究者

文章來源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：7949字

內(nèi)容摘要：機(jī)器之心專欄機(jī)器之心編輯部持續(xù)學(xué)習(xí)的目的是模仿人類在連續(xù)任務(wù)中持續(xù)積累知識(shí)的能力，其主要挑戰(zhàn)是在持續(xù)學(xué)習(xí)新任務(wù)后如何保持對(duì)以前所學(xué)任務(wù)的表現(xiàn)，即避免災(zāi)難性遺忘（catastrophic forgetting）。持續(xù)學(xué)習(xí)和多任務(wù)學(xué)習(xí)（multi-task learning）的區(qū)別在于：后者在同一時(shí)間可以得到所有任務(wù)，模型可以同時(shí)學(xué)習(xí)所有任務(wù)；而在持續(xù)學(xué)習(xí)中任務(wù)一個(gè)一個(gè)出現(xiàn)，模型在某一時(shí)刻只能學(xué)習(xí)一個(gè)…

原文鏈接：點(diǎn)此閱讀原文：輕量級(jí)持續(xù)學(xué)習(xí): 0.6%額外參數(shù)把舊模型重編程到新任務(wù)

聯(lián)系作者

文章來源：機(jī)器之心

作者微信：almosthuman2014

作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)