OS-Genesis來了，自動收集和標注Agent數據，高效且多樣

OS-Genesis 為生成高質量 GUI agents 訓練軌跡數據提供了一個有前景的方向

原標題：OS-Genesis來了，自動收集和標注Agent數據，高效且多樣
文章來源：機器之心
內容字數：8560字

OS-Genesis: 自動化構建GUI代理軌跡數據的新方法

本文介紹了上海人工智能實驗室、香港大學等機構合作提出的OS-Genesis框架，該框架旨在自動化構建高質量的GUI代理軌跡數據，解決當前數字代理領域數據稀缺性的關鍵挑戰。

1. 背景與挑戰

有效的數字代理需要具備任務規劃和動作執行能力。構建高質量的GUI代理的關鍵在于高質量的軌跡數據，但現有的數據采集方法存在高成本和數據局限性等問題：人工標注成本高昂，基于預定義任務的合成數據缺乏多樣性，且容易與真實環境脫節。

2. OS-Genesis框架

OS-Genesis的核心思想是通過反向任務合成（Reverse Task Synthesis）來生成高質量的GUI軌跡數據。該框架無需人工監督或預定義任務，其流程如下：

1. 動作記錄與狀態捕捉：系統性地執行基本GUI動作（CLICK、TYPE、SCROLL等），記錄動作前后狀態變化，生成?狀態前，動作，狀態后?三元組數據。
2. 低階指令生成：利用GPT-4等大型語言模型，將三元組轉化為描述具體操作的低階指令（例如，“點擊下拉菜單以顯示選項”）。
3. 高階任務生成：基于低階指令和GUI環境，生成更抽象且目標明確的高階指令（例如，“配置應用程序設置”）。
4. 軌跡構建與獎勵模型：利用生成的高階指令執行任務，構建完整的軌跡數據。引入軌跡獎勵模型（TRM）對軌跡進行質量評估和篩選，基于完成度和一致性兩個指標對軌跡打分，從而保留高質量的軌跡數據。

通過反向任務合成和獎勵模型，OS-Genesis實現了從任務生成到軌跡構建的端到端流程，高效地生成多樣化、語義豐富的軌跡數據。

3. 實驗結果

OS-Genesis在AndroidWorld、AndroidControl和WebArena等多個基準測試中進行了實驗，結果表明，基于OS-Genesis生成的數據訓練的GUI代理顯著優于基線方法，在任務成功率、規劃能力和泛化能力方面都有顯著提升。尤其在復雜任務和動態環境中，OS-Genesis展現出更強的優勢。

4. 數據質量分析

文章對OS-Genesis生成的數據質量進行了詳盡分析，將生成的高階指令和軌跡數據與人工標注數據進行了對比。結果顯示，OS-Genesis生成的高階指令在任務執行中顯著優于人工編寫的指令，生成的軌跡數據也顯著縮小了與人工標注數據之間的性能差距，性能保留率超過80%。

5. 總結與展望

OS-Genesis提供了一種全新的GUI代理軌跡數據構建方法，克服了以往數據收集中的關鍵瓶頸，為構建高質量的通用GUI代理提供了可靠的數據支持，推動了數字世界自動化的發展。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺