Energy-Structured Latent World Models with Neural Time Fields for Physically Constistent Open-World Motion Planning

📄 arXiv: 2608.09876v1 📥 PDF

作者: Yapeng Liu, Yuanzhao Zhai, Bo Ding, Huaimin Wang, Lin Wang

分类: cs.RO, cs.AI

发布日期: 2026-08-10

备注: 9 pages, 5 figures

💡 一句话要点

提出能量结构潜在世界模型以解决物理一致性运动规划问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物理一致性 运动规划 潜在世界模型 神经网络 开放世界导航 能量结构 多模态学习

📋 核心要点

  1. 现有的潜在世界模型在学习未来表示时缺乏物理约束，导致生成的轨迹无法可靠地应用于开放世界导航。
  2. 本文提出的能量结构潜在世界模型（ELWM）通过明确携带能量和动量来确保物理一致性，并通过物理条件神经时间场（PC-NTF）实现运动规划。
  3. 实验结果表明，PC-NTF在运动预测和导航成功率上显著优于现有模型，减少了碰撞率并提高了动态可行性。

📝 摘要（中文）

物理一致的运动规划在具身人工智能中仍然是一个基本挑战，因为生成的轨迹必须严格符合现实世界的执行动态。尽管潜在世界模型通过预测这些动态提供了有希望的方法，但现有方法学习的未来表示缺乏约束，导致物理知识无法重用，从而影响在不可预测的开放世界导航中的可靠性。为此，本文提出了一种新颖的能量结构潜在世界模型（ELWM），其关键思想是将ELWM的潜在状态结构化，以明确携带能量和动量，通过耗散和控制端口确保严格的因果转变。通过对多模态RGB-D和惯性交互历史进行训练，我们的模型保证了物理一致的预测，并通过构建物理条件神经时间场（PC-NTF）将ELWM集成到到达时间场中，从而产生物理信息导航策略。我们的评估显示出显著的改进。

🔬 方法详解

问题定义：本文旨在解决物理一致的运动规划问题，现有方法在学习未来表示时未能有效吸收物理知识，导致在开放世界中的导航可靠性不足。

核心思路：提出的能量结构潜在世界模型（ELWM）通过结构化潜在状态来显式携带能量和动量，从而确保因果转变的严格性，并通过物理条件神经时间场（PC-NTF）实现高效的运动规划。

技术框架：整体架构包括ELWM的训练模块和PC-NTF的构建模块。ELWM通过多模态数据进行训练，确保物理一致性，而PC-NTF则利用Eikonal方程将ELWM集成到导航策略中。

关键创新：最重要的技术创新在于将物理结构嵌入潜在空间，使得预测模型能够在动态环境中实现安全且可行的运动规划，这与现有方法的隐式物理知识形成鲜明对比。

关键设计：在模型设计中，采用了多模态RGB-D和惯性交互历史作为训练数据，损失函数设计上强调物理一致性，网络结构则通过控制端口实现能量和动量的有效传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PC-NTF在运动预测的归一化均方根误差（NRMSE）上从0.36降低到0.29，导航成功率从81.3%提升至89.7%，同时减少了物理碰撞率，从12.1%降至5.8%。这些结果表明，嵌入显式物理结构的潜在空间能够有效提升模型的可靠性与安全性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶和虚拟现实等。通过实现物理一致的运动规划，能够提高机器人在复杂环境中的自主性和安全性，未来可能推动智能体在开放世界中的广泛应用。

📄 摘要（原文）

Physically consistent motion planning remains a fundamental challenge in embodied AI, as generated trajectories must strictly conform to real-world execution dynamics. While latent world models offer a promising approach by predicting these dynamics, existing methods learn unconstrained future representations where absorbed physics remains implicit. Therefore, they fail to form reusable physical knowledge, which compromises reliability in unpredictable open-world navigation. To address this, we propose a novel Energy-Structured Latent World Model (ELWM). Our key idea is to structure the ELWM latent state to explicitly carry energy and momentum, ensuring strictly causal transitions via dissipation and control ports. Trained on multimodal RGB-D and inertial interaction histories, our model guarantees physically consistent predictions. We further implement this for motion planning by constructing Physics-Conditioned Neural Time Fields (PC-NTF), a key technical cornerstone that integrates ELWM into an arrival time field via the Eikonal equation to yield a physically-informed navigation policy. Across held-out scenes, our evaluation reveals significant improvements. Compared to generic latent models, PC-NTF reduces 0.8-s motion-prediction NRMSE from 0.36 to 0.29. Against Active Neural Time Fields, it improves navigation success from 81.3% to 89.7% and SPL from 0.64 to 0.73, while cutting the physical collision rate from 12.1% to 5.8% and the Eikonal residual from 0.083 to 0.031. Beyond these targeted gains, our results demonstrate that embedding explicit physical structures into latent spaces intrinsically bridges the gap between predictive world models and safe, dynamically feasible motion planning.