Genie: Generative Interactive Environments
作者: Jake Bruce, Michael Dennis, Ashley Edwards, Jack Parker-Holder, Yuge Shi, Edward Hughes, Matthew Lai, Aditi Mavalankar, Richie Steigerwald, Chris Apps, Yusuf Aytar, Sarah Bechtle, Feryal Behbahani, Stephanie Chan, Nicolas Heess, Lucy Gonzalez, Simon Osindero, Sherjil Ozair, Scott Reed, Jingwei Zhang, Konrad Zolna, Jeff Clune, Nando de Freitas, Satinder Singh, Tim Rocktäschel
分类: cs.LG, cs.AI, cs.CV
发布日期: 2024-02-23
备注: https://sites.google.com/corp/view/genie-2024/
💡 一句话要点
提出Genie以生成无标签视频的交互式虚拟环境
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生成模型 无监督学习 交互式环境 虚拟现实 多模态输入
📋 核心要点
- 现有方法通常依赖于标注数据，限制了生成模型的灵活性和适用性。
- Genie通过无监督学习从未标记的视频中生成交互式环境，支持多种输入形式。
- Genie的设计使得用户可以在生成环境中逐帧操作，且无需真实动作标签，拓展了应用范围。
📝 摘要（中文）
我们介绍了Genie，这是第一个通过无监督方式从未标记的互联网视频中训练的生成交互环境。该模型能够根据文本、合成图像、照片甚至草图生成各种可控的虚拟世界。Genie拥有110亿参数，可视为基础世界模型，包含时空视频标记器、自回归动态模型和简单可扩展的潜在动作模型。尽管训练过程中没有任何真实动作标签或领域特定要求，用户仍可逐帧在生成的环境中进行操作。此外，学习到的潜在动作空间使得代理能够模仿未见视频中的行为，为未来通用代理的训练铺平了道路。
🔬 方法详解
问题定义：本论文旨在解决生成交互式虚拟环境时对标注数据的依赖问题。现有方法通常需要大量的真实标签数据，限制了其适用性和灵活性。
核心思路：Genie通过无监督学习从未标记的互联网视频中提取信息，生成可控的虚拟环境。该方法允许用户通过文本、图像和草图等多种方式进行交互，极大地扩展了生成模型的应用场景。
技术框架：Genie的整体架构包括三个主要模块：时空视频标记器用于处理视频数据，自回归动态模型用于生成动态行为，潜在动作模型则用于简化用户交互。
关键创新：Genie的最大创新在于其无监督学习能力，使得用户可以在没有真实动作标签的情况下与生成环境进行交互。这一设计与现有依赖标注数据的方法形成了鲜明对比。
关键设计：在技术细节上，Genie采用了110亿参数的模型架构，结合了自回归生成和潜在空间的设计，确保了生成环境的多样性和可控性。
🖼️ 关键图片
📊 实验亮点
Genie在无监督学习的条件下，成功生成了多种交互式虚拟环境，用户可以在这些环境中逐帧进行操作。与传统方法相比，Genie的设计显著降低了对标注数据的依赖，拓宽了生成模型的应用范围，展示了其在模仿未见视频行为方面的潜力。
🎯 应用场景
Genie的潜在应用场景包括游戏开发、虚拟现实、教育培训等领域。通过生成可控的虚拟环境，用户可以在多种情境下进行交互和学习，提升体验和效果。此外，该技术还可能推动通用智能代理的发展，使其能够在未见环境中进行有效学习和适应。
📄 摘要（原文）
We introduce Genie, the first generative interactive environment trained in an unsupervised manner from unlabelled Internet videos. The model can be prompted to generate an endless variety of action-controllable virtual worlds described through text, synthetic images, photographs, and even sketches. At 11B parameters, Genie can be considered a foundation world model. It is comprised of a spatiotemporal video tokenizer, an autoregressive dynamics model, and a simple and scalable latent action model. Genie enables users to act in the generated environments on a frame-by-frame basis despite training without any ground-truth action labels or other domain-specific requirements typically found in the world model literature. Further the resulting learned latent action space facilitates training agents to imitate behaviors from unseen videos, opening the path for training generalist agents of the future.