RynnWorld-Latent: A Cross-Embodiment World Model Conditioned on Universal Latent Actions
作者: Haoyu Zhao, Yinzhou Tang, Zixuan Wang, Minghao Zhu, Dongchi Huang, Xingyue Zhao, Qin Zhao, Kehan Li, Siteng Huang, Xin Li, Zhenyu Zeng, Mingxiu Chen, Deli Zhao, Zhongyu Li
分类: cs.RO
发布日期: 2026-10-27
备注: Homepage https://alibaba-damo-academy.github.io/RynnWorld-Latent.github.io, Github https://github.com/alibaba-damo-academy/RynnWorld-Latent
💡 一句话要点
提出RynnWorld-Latent以解决跨体态世界模型学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)
关键词: 跨体态学习 潜在动作 视频预测 机器人控制 人机交互 知识迁移
📋 核心要点
- 现有方法在学习异构交互视频的可控动态时面临挑战，尤其是机器人和人类视频之间的动作空间不兼容。
- 论文提出RynnWorld-Latent，通过3D基础潜在动作作为共享条件接口，实现了跨体态视频世界模型的联合预训练。
- 实验结果显示，该方法在视频预测指标上优于公共基准，并在真实机器人平台上实现了更高的策略成功率。
📝 摘要（中文）
学习来自异构交互视频的可控世界动态具有挑战性，因为机器人体态使用不兼容的动作空间，而人类视频缺乏原生控制标签。我们提出RynnWorld-Latent，一个跨体态视频世界模型，利用RynnLAM引入的3D基础潜在动作作为共享条件接口。该表示法使得在无须共同原生动作空间的情况下，能够对人类交互视频、机器人演示和仿真回放进行联合预训练。基于预训练的视频变换器，RynnWorld-Latent结合了全局动作标记和身份初始化的局部路径，以将动作与未来视频潜在相对齐。我们在23个数据集上进行预训练，包含约553.5M帧，并通过后训练将模型适应于目标机器人。实验表明，在公共基准和两个真实机器人平台上，视频预测指标有所改善。
🔬 方法详解
问题定义：本论文旨在解决从异构交互视频中学习可控世界动态的问题。现有方法在处理人类和机器人视频时，由于动作空间不兼容，导致学习效果不佳。
核心思路：RynnWorld-Latent通过引入3D基础潜在动作作为共享条件接口，允许在不同类型的视频上进行联合预训练，从而克服了动作空间不一致的问题。
技术框架：该框架基于预训练的视频变换器，结合全局动作标记和局部路径，局部路径通过身份初始化来对齐动作与未来视频潜在。整体流程包括数据预处理、模型预训练和后训练适应。
关键创新：最重要的技术创新在于使用3D基础潜在动作作为跨体态学习的接口，这一设计使得模型能够在缺乏共同原生动作空间的情况下进行有效学习。
关键设计：在模型设计中，采用了特定的损失函数来优化动作与视频潜在的对齐，同时在网络结构上引入了局部路径以增强模型的表达能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RynnWorld-Latent在公共基准上的视频预测指标显著提高，并在LIBERO和LIBERO-Plus上实现了策略成功率的提升。与仅使用真实演示训练的基线相比，采用该框架的生成路线在真实世界中的策略成功率也得到了改善。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、虚拟现实和人机交互等。通过实现跨体态的可控动态学习，RynnWorld-Latent能够促进不同机器人平台之间的知识迁移，提升机器人在复杂环境中的适应能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Learning controllable world dynamics from heterogeneous interaction videos is challenging because robot embodiments use incompatible action spaces, while human videos lack native control labels. We present RynnWorld-Latent, a cross-embodiment video world model that uses the 3D-grounded latent actions introduced by RynnLAM as a shared conditioning interface. This representation enables joint pretraining on human interaction videos, robot demonstrations, and simulation rollouts without requiring a common native action space. Built on a pretrained video transformer, RynnWorld-Latent combines global action tokens with an identity-initialized local pathway that aligns actions with future video latents. We pretrain on 23 datasets comprising approximately 553.5M frames and adapt the model to target robots through post-training. The framework supports two data-generation routes: digital teleoperation uses target robot commands to generate action-video demonstrations, while latent-action synthesis transfers source motion to an edited initial frame and pairs the resulting rollout with retargeted pseudo robot actions. Experiments show improved video prediction metrics on public benchmarks and two real-robot platforms, alongside qualitative action following when different action sequences share the same initial observation. Synthetic mid-training improves policy success rates on LIBERO and LIBERO-Plus, and both generation routes improve real-world policy success rates over real-demonstration-only training in the evaluated settings. These results support universal latent actions as a scalable interface for learning controllable visual dynamics across heterogeneous embodiments.