流式深度學習的突破：強化學習巨匠Richard Sutton的熱情推薦！

本文證明了 stream-x 算法能夠克服流式障礙。

原標題：流式深度學習終于奏效了！強化學習之父Richard Sutton力薦
文章來源：機器之心
內容字數：4204字

自然智能與流式深度強化學習的創新

自然智能（Natural intelligence）強調實時感知、行動和學習的能力。傳統的強化學習（RL）算法，如Q學習和時序差分（TD），通過流式學習來模擬這種自然學習方式。然而，深度強化學習通常依賴于批量更新和重放緩沖區，這導致計算成本高，并與流式學習不相容。為了解決這一問題，阿爾伯塔大學的研究者們提出了stream-x算法，這是第一種專門用于克服流式障礙的深度強化學習算法。該算法在多個環境中表現出色，顯示出與批量強化學習相當的樣本效率。

流式障礙與stream-x算法

流式障礙是指流式深度強化學習方法在實時學習中常遇到的不穩定和學習失敗的問題。研究者提出的stream-x算法通過引入流式深度強化學習方法，如Stream TD (λ)、Stream Q (λ)和Stream AC (λ)，來有效解決這個問題。該方法不依賴重放緩沖區、批量更新或目標網絡，而是通過利用最新經驗進行學習。文章中還提出了稀疏初始化和資格跡等技術，以提高樣本效率。

實驗結果與性能評估

為驗證stream-x算法的有效性，研究團隊在多個環境中進行了實驗，包括MuJoCo、DM Control和Atari等基準任務。結果顯示，stream-x算法成功克服了傳統方法的流式障礙，并且在樣本效率上與批量方法相當。尤其是在復雜環境中，stream AC算法達到了已知的最佳性能，進一步證明了其穩定性和魯棒性。