WebRL是清華大學與智譜AI共同開發的在線課程強化學習框架，旨在通過開放大型語言模型（LLMs）訓練高效的網絡代理。該系統能夠動態生成任務，利用結果監督獎勵模型（ORM）評估任務的成功與否，并實施自適應強化學習策略，從而有效應對訓練任務不足、反饋信號稀疏及在線學習中的策略分布漂移等挑戰。WebRL在WebArena-Lite基準測試中顯著提高了如Llama-3.1和GLM-4等模型的成功率，優于專有的LLM API以及以往訓練的網絡代理，充分顯示了其在提升開源LLMs網絡任務能力方面的卓越表現。

WebRL是什么

WebRL是清華大學與智譜AI攜手推出的一款自我進化的在線課程強化學習框架，專注于訓練基于開放大型語言模型（LLMs）的高效網絡代理。該框架能夠動態生成任務，并通過結果監督獎勵模型（ORM）來評估任務的完成情況，配合自適應強化學習策略，從而解決了訓練任務匱乏、反饋信號稀缺及在線學習中的策略分布漂移等諸多問題。

WebRL的主要功能

• 自我進化課程學習：WebRL能夠從失敗的嘗試中創造新任務，動態調整任務的難度與復雜性，以適應智能體當前的技能水平。
• 結果監督獎勵模型（ORM）：WebRL通過訓練ORM來評估任務的成功與否，提供二進制獎勵信號（成功為1，失敗為0），從而有效指導智能體的學習進程。
• 自適應強化學習策略：WebRL采用基于KL散度約束的策略更新算法，限制策略更新過程中的分布漂移，確保智能體在學習新任務時不偏離已有知識。
• 經驗回放緩沖區：WebRL通過經驗回放緩沖區保留過去的成功經驗，降低災難性遺忘風險，并在訓練過程中重用這些經驗。
• 持續性能提升：WebRL采用迭代自我進化的方法，讓智能體在在線環境中持續、一致地提升其性能。

WebRL的技術原理

• 問題表述：WebRL將網絡任務建模為有限視界的馬爾可夫決策過程（MDP），明確狀態、動作、獎勵和轉移概率。
• ORM訓練：通過訓練LLM作為ORM，WebRL自動評估代理的執行軌跡是否成功完成任務，提供必要的反饋信號。
• 強化學習：在網絡環境中，WebRL利用自我進化的課程學習策略動態生成任務，并通過KL約束策略更新算法防止策略分布的劇烈漂移。
• 經驗回放：使用經驗回放緩沖區保留先前的知識，降低災難性遺忘的風險，并避免對錯誤軌跡的中間狀態進行不準確估計。
• 自我進化的課程學習策略：WebRL實施生成與過濾的雙重流程，生成日益具有挑戰性的任務，同時確保這些任務仍適合代理當前的能力，基于In-breadth evolving技術創建新指令。
• 策略更新：在策略更新過程中，WebRL考慮新舊策略之間的KL散度，以確保策略平穩過渡，避免因策略更新而導致性能下降。

WebRL的項目地址

• GitHub倉庫：https://github.com/THUDM/WebRL
• arXiv技術論文：https://arxiv.org/pdf/2411.02337v1

WebRL的應用場景

• 網頁瀏覽自動化：WebRL可訓練智能體自動完成網頁瀏覽任務，如信息檢索、表單填寫與網上購物等。
• 網絡數據提取：在需要從網頁中提取特定數據（如價格、評論、新聞文章）的場景中，WebRL可以自動化數據提取過程。
• 客戶服務自動化：作為機器人，WebRL能在客戶服務領域通過網頁交互解決用戶問題或完成交易。
• 網絡內容管理：對于需要管理大量網絡內容的網站管理員，WebRL能自動化內容更新、發布及維護任務。
• 電子商務：在電子商務平臺中，WebRL幫助實現訂單處理、庫存管理及客戶互動的自動化。

常見問題

• WebRL如何提高訓練效率？：通過動態生成任務和自我進化的策略，WebRL能夠適應不同智能體的能力水平，從而提升訓練效率。
• ORM的作用是什么？：ORM用于評估任務的成功與否，并提供明確的獎勵信號，幫助智能體更好地學習。
• WebRL適合哪些應用場景？：WebRL在網頁瀏覽自動化、數據提取、客戶服務、內容管理和電子商務等多個領域都有廣泛的應用。