Gen2Act是一種由谷歌、卡內基梅隆大學和斯坦福大合開發的機器人操作策略。它通過利用網絡視頻數據中的信息，生成與人類相似的執行任務的視頻，從而引導機器人完成新的任務。該策略依托于海量的網絡視頻資源，規避了直接生成機器人視頻所帶來的復雜性。Gen2Act具備強大的泛化能力，能夠適應未見過的物體和動作，在實際應用中顯著提升了任務執行的成功率。

Gen2Act是什么

Gen2Act是由谷歌、卡內基梅隆大學和斯坦福大學共同推出的一種機器人操作策略，基于預測網絡數據中的信息來生類視頻，并將視頻用在引導機器人執行新任務。該策略利用大量可用的網絡視頻數據，避免了直接生成機器人視頻的復雜性。Gen2Act的核心在于零樣本的人類視頻生成，結合預訓練的視頻生成模型和少量的機器人交互數據進行策略訓練。在真實世界的應用中，Gen2Act展現出強大的泛化能力，能夠操作未曾見過的物體并執行新動作，相較于其他方法，其成功率顯著提高。此外，Gen2Act支持復雜任務的長時間執行，如連續完成“制作咖啡”等多步驟活動。這一方法減少了對大規模機器人數據采集的需求，并通過閉環策略動態調整，提高了操作的準確性。

Gen2Act的主要功能

• 零樣本視頻生成：Gen2Act可以直接利用預訓練的視頻生成模型，根據語言描述的任務和場景圖像生類執行任務的視頻，而無需針對特定任務進行微調。
• 泛化到新任務：通過生成的人類視頻引導，Gen2Act使機器人能夠執行在訓練數據中未出現過的新任務，包括操作未見過的物體和執行新的動作。
• 閉環策略執行：結合生成的視頻和機器人的實時觀察，Gen2Act通過閉環策略動態調整機器人的動作，以適應變化的場景，確保準確執行任務。
• 長時任務處理：Gen2Act能夠完成單一任務，并基于任務序列的鏈接，執行一系列復雜的長時任務，如“制作咖啡”，涉及多個步驟的連續操作。
• 減少數據需求：Gen2Act只需較少的機器人演示數據，大幅降低了數據收集的成本和工作量。

Gen2Act的技術原理

• 人類視頻生成：基于預訓練的視頻生成模型，利用語言描述的任務和場景的首幀圖像，實現零樣本的人類任務視頻生成。
• 視頻到動作的翻譯：通過閉環策略，將生成的人類視頻轉化為機器人的動作，策略利用視頻的視覺特征和點軌跡預測隱式編碼的信息。
• 視覺特征提?。?/strong>使用ViT編碼器和Transformer編碼器從生成的視頻和機器人的觀察歷史中提取特征。
• 點軌跡預測：基于軌跡預測Transformer，預測視頻中點的軌跡，以輔助損失來訓練策略。
• 行為克隆損失：通過最小化預測動作與真實動作之間的誤差來優化策略，從而模仿人類視頻中的行為。

Gen2Act的項目地址

• 項目官網：https://homangab.github.io/gen2act/
• arXiv技術論文：https://arxiv.org/pdf/2409.16283

Gen2Act的應用場景

• 家庭自動化：在家庭環境中，Gen2Act能夠控制家居設備，如開關微波爐、操作咖啡機、整理物品等，助力家庭自動化的實現。
• 工業自動化：在制造業中，Gen2Act可以執行復雜的裝配任務，或在需要靈活性和適應性的環境中替代或輔助人工操作。
• 服務行業：在餐飲或零售服務中，Gen2Act可以指導機器人完成點單、上菜、整理貨架等任務。
• 醫療輔助：在醫療領域，Gen2Act有助于開發執行精細操作的機器人，如協助手術或遞送醫療用品。
• 災難救援：在災難救援現場，Gen2Act能夠操控機器人在未知環境中進行搜索和救援任務。

常見問題

• Gen2Act的主要優勢是什么？ Gen2Act的主要優勢在于其零樣本視頻生成能力、強大的泛化能力以及通過閉環策略動態調整機器人操作的能力。
• Gen2Act能應用于哪些行業？ Gen2Act適用于家庭自動化、工業自動化、服務行業、醫療輔助以及災難救援等多個領域。
• 使用Gen2Act需要多少數據？ Gen2Act只需較少的機器人演示數據，大幅降低了數據收集的需求。