從數(shù)據(jù)增強(qiáng)的隱藏作用出發(fā),揭示視覺強(qiáng)化學(xué)習(xí)可塑性損失的獨(dú)特機(jī)制

AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:從數(shù)據(jù)增強(qiáng)的隱藏作用出發(fā),揭示視覺強(qiáng)化學(xué)習(xí)可塑性損失的獨(dú)特機(jī)制
關(guān)鍵字:可塑性,數(shù)據(jù),視覺,損失,樣本
文章來源:機(jī)器之心
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年,機(jī)器之心AIxiv專欄接收?qǐng)?bào)道了2000多篇內(nèi)容,覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室,有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享,歡迎投稿或者聯(lián)系報(bào)道。投稿郵箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.comSutton 等研究人員近期在《Nature》上發(fā)表的研究《Loss of Plasticity in Deep Continual Learning》揭示了一個(gè)重要發(fā)現(xiàn):在持續(xù)學(xué)習(xí)環(huán)境中,標(biāo)準(zhǔn)深度學(xué)習(xí)方法的表現(xiàn)竟不及淺層網(wǎng)絡(luò)。研究指出,這一現(xiàn)象的主要原因是 “可塑性損失”(Plasticity Loss):深度神經(jīng)網(wǎng)絡(luò)在面對(duì)非平穩(wěn)的訓(xùn)練目標(biāo)持續(xù)更新時(shí),會(huì)逐漸喪失從新數(shù)據(jù)中學(xué)習(xí)的能力。
深度強(qiáng)化學(xué)習(xí)任務(wù)中的神經(jīng)網(wǎng)絡(luò)實(shí)際上面臨著更為嚴(yán)峻的可塑性損失問題。這源于強(qiáng)化學(xué)習(xí)智能體必須通過與環(huán)境的持續(xù)互動(dòng)來不斷調(diào)整其策略,使得非平穩(wěn)的數(shù)據(jù)流和優(yōu)化目標(biāo)成為深度強(qiáng)化學(xué)習(xí)范式中的固有特征。值得注意的是,即使在單任務(wù)強(qiáng)化學(xué)習(xí)中,在線數(shù)據(jù)收集和策略更新也會(huì)導(dǎo)致數(shù)據(jù)分布和優(yōu)化目標(biāo)持
原文鏈接:從數(shù)據(jù)增強(qiáng)的隱藏作用出發(fā),揭示視覺強(qiáng)化學(xué)習(xí)可塑性損失的獨(dú)特機(jī)制
聯(lián)系作者
文章來源:機(jī)器之心
作者微信:
作者簡(jiǎn)介:

粵公網(wǎng)安備 44011502001135號(hào)