GeniWorld: A Generalizable Interactive World Model for Robotic Manipulation via Visual Actions

📄 arXiv: 2608.06332v1 📥 PDF

作者: Chenghao Gu, Hanyang Yu, Jingbo Zhang, Haitao Lin, Wenyao Zhang, Jinghe Wang, Hanglei Jin, Shuzhao Xie, Jingyan Jiang, Zhi Wang

分类: cs.RO

发布日期: 2026-08-06

💡 一句话要点

提出GeniWorld以解决机器人操控在复杂环境中的泛化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操控 世界模型 视觉动作 自回归预测 泛化能力 环境动态 高频控制

📋 核心要点

  1. 现有的动作条件世界模型在复杂环境中的可控性和泛化能力不足，限制了机器人学习和评估的有效性。
  2. GeniWorld通过将数值动作转化为视觉动作表示，显式解耦运动学与环境动态，提升了机器人在未知场景中的表现。
  3. 实验结果显示，GeniWorld在有限数据训练下，仍能在高度随机化的环境中实现优越的性能和鲁棒性。

📝 摘要（中文）

通用机器人策略在复杂和未知环境中的鲁棒性仍然有限。本文提出GeniWorld，一个交互式世界模型，能够在未见场景中实现强泛化。通过基于预训练视频生成模型的URDF渲染，将数值动作转化为视觉动作表示，增强了空间控制能力。模型通过显式解耦身体运动学与环境动态，减轻了场景过拟合，促进了机器人与环境的交互建模。实验表明，即使在有限的固定场景数据上训练，GeniWorld也能实现卓越的领域内性能和对高度随机化未知环境的鲁棒零-shot泛化。

🔬 方法详解

问题定义：本文旨在解决现有机器人策略在复杂和未知环境中的鲁棒性不足问题，尤其是动作条件世界模型在可控性和泛化能力上的局限性。

核心思路：GeniWorld通过结合预训练的视频生成模型与URDF渲染，将数值动作转化为视觉动作表示，从而实现空间控制的增强，并通过解耦运动学与环境动态来减轻过拟合。

技术框架：GeniWorld的整体架构包括视频生成模型、URDF渲染模块和自回归视频预测模型，后者与高频机器人运动控制相结合，实现闭环控制。

关键创新：GeniWorld的主要创新在于通过显式解耦运动学与环境动态，提升了机器人与环境交互的建模能力，显著改善了泛化性能。

关键设计：模型设计中采用了自回归视频预测机制，结合高频运动控制，以确保机器人策略与人类遥控者的有效交互，同时在损失函数中考虑了环境扰动的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GeniWorld在仅使用有限固定场景数据训练的情况下，能够在高度随机化的未知环境中实现超过基线的零-shot泛化性能，显著提升了机器人策略的表现和鲁棒性。

🎯 应用场景

GeniWorld在机器人操控领域具有广泛的应用潜力，尤其是在需要高鲁棒性和适应性的复杂环境中，如工业自动化、服务机器人和无人驾驶等。其可扩展的策略评估能力也为未来的机器人学习提供了新的思路。

📄 摘要（原文）

Generalist robot policies exhibit strong capabilities, but their robustness in complex and unseen environments remains limited. Scaling robot learning and evaluation in diverse real-world environments remains costly and challenging. Action-conditioned world models offer a promising alternative, but they often suffer from limited action controllability and poor generalization to out-of-distribution (OOD) scenarios. To this end, we present GeniWorld, an interactive world model for robots that generalizes robustly across unseen scenarios. Building on pretrained video generative models, we use URDF-based rendering to transform numerical actions into visual action representations, enabling spatially grounded action control. By explicitly decoupling embodiment kinematics from environmental dynamics, our model mitigates scene overfitting and facilitates modeling of robot-environment interactions. To achieve closed-loop control, we construct an autoregressive video prediction model integrated with high-frequency robot kinematic control, enabling interaction with both robot policies and human teleoperators. In our experiments, even when trained solely on limited fixed-scene data, our model achieves superior in-domain performance and robust zero-shot generalization to highly randomized, unseen environments. For downstream applications, GeniWorld serves as a scalable policy evaluator that remains reliable under environmental perturbations. Furthermore, even with limited real-world demonstrations, GeniWorld generates diverse manipulation trajectories within the world model, improving downstream policy performance and robustness in complex environments.