PhysisForcing: Physics Reinforced World Simulator for Robotic Manipulation
作者: Peiwen Zhang, Yufan Deng, Shangkun Sun, Juncheng Ma, Duomin Wang, Jonas Du, Zilin Pan, Ye Huang, Hao Liang, Songyan Huang, Ruihua Zhang, Enze Xie, Ming-Yu Liu, Daquan Zhou
分类: cs.CV, cs.AI, cs.RO
发布日期: 2026-06-26
备注: Github: https://github.com/DAGroup-PKU/PhysisForcing Project website: https://dagroup-pku.github.io/PhysisForcing.github.io/#
💡 一句话要点
提出PhysisForcing以解决机器人操作中的物理一致性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 物理一致性 视频生成 机器人操作 联合优化 动态物体
📋 核心要点
- 现有视频生成模型在机器人操作中存在物理不一致性，导致不合理的运动轨迹和交互。
- PhysisForcing框架通过联合优化像素级和语义级特征，增强物理一致性，聚焦于物理信息区域。
- 在R-Bench等基准测试中，PhysisForcing显著提升了生成质量和闭环成功率，表明其有效性。
📝 摘要（中文）
视频生成模型已成为具身世界模拟的有前景范式。然而，现有的通用视频生成器和针对机器人特定数据微调的模型仍然会产生物理上不合理的操作，包括不连续的运动轨迹和不一致的机器人-物体交互，限制了它们作为世界模拟器的可靠性。通过广泛的实验，我们发现这种物理不稳定性主要源于两个因素：移动物体的变形和交互实体之间不合理的时空关联，特别是在接触期间。基于这一观察，我们提出了PhysisForcing，一个可扩展的训练框架，通过关注物理信息区域的监督，联合优化像素级和语义级特征，从而增强物理一致性。实验结果表明，PhysisForcing在多个基准上显著提升了具身视频生成的性能。
🔬 方法详解
问题定义：论文旨在解决现有视频生成模型在机器人操作中产生的物理不一致性问题，包括不合理的运动轨迹和交互。现有方法在处理动态物体变形和交互时空关联方面存在不足。
核心思路：PhysisForcing通过关注物理信息区域的监督，联合优化像素级和语义级特征，增强生成模型的物理一致性。这种设计旨在提高生成视频的真实感和可靠性。
技术框架：该框架包括两个主要模块：像素级轨迹对齐损失和语义级关系对齐损失。前者通过参考点轨迹监督DiT特征，后者则通过冻结的视频理解编码器提取的区域间关系对齐DiT特征。
关键创新：PhysisForcing的关键创新在于其联合优化机制，能够同时处理像素级和语义级信息，从而有效提升物理一致性。这与传统方法的单一优化策略形成鲜明对比。
关键设计：在损失函数设计上，采用了像素级轨迹对齐损失和语义级关系对齐损失，确保生成视频在物理上更为合理。此外，使用冻结的视频理解编码器来提取区域间关系，增强了模型的表达能力。
🖼️ 关键图片
📊 实验亮点
在R-Bench、PAI-Bench和EZS-Bench等基准测试中，PhysisForcing显著提升了生成质量，Wan2.2-I2V-A14B和Cosmos3-Nano基模型在R-Bench上分别提高了22.3%和9.2%。此外，作为WorldArena行动规划协议下的世界模型，其闭环成功率从16.0%提升至24.0%。
🎯 应用场景
PhysisForcing的研究成果在机器人操作、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提供更为真实的物理模拟，该框架能够提升机器人在复杂环境中的操作能力，进而推动智能机器人技术的发展和应用。
📄 摘要（原文）
Video generation models have emerged as a promising paradigm for embodied world simulation. However, both general-domain video generators and robot-specific data fine-tuned models can still produce physically implausible manipulations, including discontinuous motion trajectories and inconsistent robot-object interactions, which limits their reliability as world simulators. Through extensive experiments, we find that such physical instability mainly arises from two factors: deformation of moving objects and implausible spatio-temporal correlations among interacting entities, particularly during contact. Building on this observation, we propose PhysisForcing, a scalable training framework that strengthens physical consistency by focusing supervision on physics-informative regions through joint optimization of pixel-level and semantic-level features. The framework consists of a pixel-level trajectory alignment loss, which supervises DiT features using reference point trajectories, and a semantic-level relational alignment loss, which aligns DiT features with inter-region relations extracted from a frozen video understanding encoder. Extensive experiments on R-Bench, PAI-Bench, and EZS-Bench show that PhysisForcing consistently improves embodied video generation over strong baselines, improving the Wan2.2-I2V-A14B and Cosmos3-Nano base models on R-Bench by 22.3\% and 9.2\% (7.1\% and 3.7\% over vanilla finetuning), with the Cosmos3-Nano variant attaining the best overall score. Beyond generation, as a world model under the WorldArena action-planner protocol it raises the closed-loop success rate from 16.0\% to 24.0\% and further improves downstream policy success, indicating that physically aligned video models yield stronger representations for robotic manipulation.