清華、華為等提出iVideoGPT：專攻交互式世界模型

AIGC動態歡迎閱讀

原標題：清華、華為等提出iVideoGPT：專攻交互式世界模型
關鍵字：模型,華為,世界,視頻,數據
文章來源：機器之心
內容字數：6666字

內容摘要：

機器之心報道
機器之心編輯部iVideoGPT，滿足世界模型高交互性需求。近年來，生成模型取得了顯著進展，其中視頻生成正在成為一個新的前沿領域。這些生成視頻模型的一個重要應用是，在多樣化的互聯網規模數據上以無監督方式學習，用于構建預測世界模型。這些世界模型有望積累關于世界如何運作的常識性知識，從而能夠基于智能體的行為預測潛在的未來結果。
通過利用這些世界模型，采用基于強化學習的智能體可以在世界模型中進行想象、推理和規劃，從而在現實世界中通過少量試驗就能更安全、更有效地獲得新技能。盡管生成模型和世界模型有著基本的聯系，但用于視頻生成的生成模型和用于智能體學習的世界模型的發展之間仍然存在顯著的差距。主要挑戰之一是如何在交互性和可擴展性之間取得最佳平衡。
在基于模型的強化學習領域，世界模型主要使用循環網絡架構。這種設計允許在每一步中基于動作傳遞觀察或潛在狀態，從而促進交互行為學習。然而，這些模型大多專注于游戲或模擬環境，數據簡單，并且對大規模復雜的 in-the-wild 數據進行建模的能力有限。
相比之下，互聯網規模的視頻生成模型可以合成逼真的長視頻，這些視頻可以通過文本描述或未來動作序列

原文鏈接：清華、華為等提出iVideoGPT：專攻交互式世界模型