IOI: Decoupling Kinematics and Physics for Interactive World Models
作者: Chengyu Bai, Peidong Jia, Tiecheng Guo, Yukai Wang, Rui Ma, Fangyuan Zhao, Chunkai Fan, Xiaobao Wei, Jintao Chen, Hao Wang, Ying Li, Xiaozhu Ju, Jian Tang, Shanghang Zhang
分类: cs.RO
发布日期: 2026-06-22
💡 一句话要点
提出IOI以解决交互世界模型中的动力学与运动学耦合问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱八：物理动画 (Physics-based Animation)
关键词: 交互世界模型 运动学先验 物理动态 多视角聚合 政策评估 零样本泛化 具身智能体
📋 核心要点
- 现有的交互世界模型在确保控制精度和物理反馈合理性方面存在不足，尤其是纯数据驱动方法容易出现时空漂移。
- 本文提出的IOI模型通过结合解析运动学先验与学习的物理动态，提供了显式的运动学指导，确保了运动轨迹的准确性。
- 在RoboTwin基准测试中，IOI在运动学保真度和策略评估方面表现优异，成功率与真实物理模拟器高度一致，显示出其实际应用价值。
📝 摘要（中文）
开发通用的具身智能体需要提供视觉真实反馈和准确的动作条件动态的交互环境。交互世界模型通过模拟复杂动态来解决这一问题。然而，纯数据驱动的方法由于缺乏明确的结构约束，难以确保精确的控制对齐和物理上合理的视觉反馈。为此，本文提出了IOI，一种将解析运动学先验与学习的物理动态相结合的混合交互世界模型。IOI通过从动作序列计算前向运动学来引入显式的运动学指导，生成准确的运动轨迹，并将其渲染为同步的正投影，消除了外部相机标定的需求。实验结果表明，IOI在运动学保真度、超分布（OOD）泛化和策略评估方面表现优异，达到了最先进的模拟性能，并在未见的OOD任务上实现了强大的零样本泛化能力。
🔬 方法详解
问题定义：本文旨在解决交互世界模型中动力学与运动学耦合的问题，现有纯数据驱动方法在控制精度和视觉反馈上存在明显不足，容易导致时空漂移。
核心思路：IOI模型通过引入解析运动学先验，计算动作序列的前向运动学，生成准确的运动轨迹，并将其用于视频生成，从而实现运动学与物理动态的解耦。
技术框架：IOI的整体架构包括多个模块，首先通过运动学指导生成运动轨迹，然后将这些轨迹渲染为多个视角的正投影，最后通过多视角运动学聚合与注入模块将几何线索注入视频生成器。
关键创新：IOI的主要创新在于将解析运动学与学习的物理动态结合，显著提高了运动轨迹的准确性和视觉反馈的物理合理性，克服了传统数据驱动方法的局限。
关键设计：在设计中，IOI采用了多视角聚合模块，确保几何一致性，并通过条件视频生成来实现运动学与物理动态的协同，具体的损失函数和网络结构细节在实验中进行了优化。
🖼️ 关键图片
📊 实验亮点
在RoboTwin基准测试中，IOI在运动学保真度和超分布泛化方面达到了最先进的性能，成功率与真实物理模拟器的结果高度一致。此外，IOI在未见的OOD任务上实现了强大的零样本泛化能力，显示出其优越的实用性。
🎯 应用场景
IOI模型在具身智能体的训练和评估中具有广泛的应用潜力，能够为机器人在复杂环境中的决策提供可靠的模拟基础。其在真实世界平台上的表现也表明，IOI可以有效支持政策学习和优化，推动智能体在实际任务中的应用。
📄 摘要（原文）
Developing generalist embodied agents requires interactive environments providing visually realistic feedback and accurate action-conditioned dynamics. Interactive world models address this by simulating such complex dynamics. However, purely data-driven methods struggle to ensure precise control alignment and physically plausible visual feedback due to a lack of explicit structural constraints. To address this, we propose IOI, a hybrid interactive world model integrating analytical kinematic priors with learned physical dynamics. Unlike data-driven approaches prone to spatiotemporal drift, IOI introduces explicit kinematic guidance, computing forward kinematics from action sequences for accurate motion trajectories. These trajectories are rendered into synchronized front, side, and top orthographic projections, eliminating the need for extrinsic camera calibration. A Multi-view Kinematic Aggregation and Injection module fuses these geometric cues and injects them into the video generator, providing geometry-consistent guidance. Conditioning video generation on these deterministic trajectories establishes a synergy between the analytical simulator and the world model. Decoupling deterministic motion into the kinematic prior frees the generator to model stochastic physical interactions. Experiments on the RoboTwin benchmark validate IOI across kinematic fidelity, out-of-distribution (OOD) generalization, and policy evaluation. IOI achieves state-of-the-art simulation performance and robust zero-shot generalization to unseen OOD tasks. Furthermore, IOI serves as a reliable policy evaluator, yielding success rates closely aligning with ground-truth physics simulators. On real-world platforms, policies trained on IOI-synthesized data match those trained on teleoperation demonstrations, solidifying its practical value for embodied policy learning.