FlowMo-WM: A World Model with Object Momentum and Hidden Ambient Drift
作者: Yitao Jiang, Luyang Zhao, Muhao Chen, Devin Balkcom
分类: cs.RO, cs.LG
发布日期: 2026-06-11
💡 一句话要点
提出FlowMo-WM以解决水面车辆运动预测问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界模型 水面车辆 运动预测 隐藏漂移 机器人学习 长历史上下文 短历史潜在状态 动态环境
📋 核心要点
- 现有的动作条件模型在评估时未能充分考虑物体在惯性和环境漂移下的运动，导致预测精度不足。
- FlowMo-WM通过从图像-动作历史中推断物体运动状态和隐藏漂移的上下文，解决了这一问题，采用了短历史和长历史的分解方法。
- 在模拟水面车辆环境中，FlowMo-WM显著提高了长时间滚动的预测准确性，展示了其在处理复杂动态环境中的优势。
📝 摘要（中文）
在机器人学习中，世界模型通过视觉观察和动作预测未来状态，使代理能够推理控制的后果。然而，现有的许多基于动作的模型在评估时，运动主要受限于即时控制，而水面车辆等真实世界物体在惯性作用下仍会继续移动，并受到隐藏环境漂移的影响，如水流或风。本文提出FlowMo-WM，这是一种端到端可训练的视觉世界模型，能够从图像-动作历史中推断物体中心的运动状态及与隐藏漂移相关的预测长历史上下文，而无需对流场进行直接监督。FlowMo-WM将图像-动作历史分解为短历史潜在状态和长历史上下文，分别用于总结物体中心的运动和缓慢变化的外部影响。通过零上下文残差转换，将基于动作的基本动态与上下文依赖的漂移效应分开。在多样化隐藏流、干扰和随机车辆动态的模拟水面车辆环境中，FlowMo-WM在长时间滚动精度上优于代表性的基于动作的潜在世界模型。
🔬 方法详解
问题定义：本文旨在解决现有动作条件模型在水面车辆等真实场景中，由于惯性和隐藏漂移导致的运动预测不准确的问题。现有方法往往忽视了这些因素，导致模型在复杂环境中的表现不佳。
核心思路：FlowMo-WM的核心思路是通过分解图像-动作历史为短历史潜在状态和长历史上下文，来推断物体中心的运动状态和外部影响。这种设计使得模型能够更好地捕捉到环境中的慢变化因素，从而提高预测的稳定性和准确性。
技术框架：FlowMo-WM的整体架构包括两个主要模块：短历史潜在状态模块和长历史上下文模块。短历史模块负责总结物体的即时运动，而长历史模块则捕捉环境中的缓慢变化。模型通过零上下文残差转换，将基本动态与上下文漂移效应分开，进行潜在滚动。
关键创新：FlowMo-WM的关键创新在于其能够在没有直接流场监督的情况下，推断出与隐藏漂移相关的长历史上下文。这一方法与传统的基于动作的模型不同，后者通常依赖于即时控制的直接反馈。
关键设计：在模型设计中，采用了特定的损失函数来平衡短历史和长历史的学习，同时在网络结构上引入了残差连接，以增强模型对环境变化的适应能力。
🖼️ 关键图片
📊 实验亮点
在多样化的模拟水面车辆环境中，FlowMo-WM在长时间滚动的预测准确性上超过了代表性的基于动作的潜在世界模型，具体表现为在不同隐藏流和干扰条件下，预测精度提高了显著的百分比，验证了其在复杂环境中的有效性。
🎯 应用场景
该研究的潜在应用领域包括水面车辆的自主导航、环境监测和救援任务等。通过提高对复杂动态环境的预测能力，FlowMo-WM能够在实际应用中显著提升机器人在水面上的操作效率和安全性，具有重要的实际价值和未来影响。
📄 摘要（原文）
World models in robot learning predict future states from visual observations and actions, enabling agents to reason about the consequences of their controls. However, many action-conditioned models are evaluated in settings where motion is dominated by immediate control, whereas aquatic surface vehicles and other real-world objects continue moving under inertia and are displaced by hidden ambient drift, such as water currents or wind. We propose FlowMo-WM, an end-to-end trainable visual world model that infers object-centric motion state and a predictive long-history context associated with hidden drift from image-action histories without direct supervision of flow fields. FlowMo-WM factorizes image-action history into a short-history latent state, trained to summarize object-centric motion, and a longer-history context, trained to summarize slowly varying exogenous influences. A zero-context residual transition separates action-conditioned base dynamics from context-dependent drift effects during latent rollout. In simulated aquatic surface-vehicle environments with diverse hidden flows, disturbances, and randomized vehicle dynamics, FlowMo-WM improves long-horizon rollout accuracy over representative action-conditioned latent world models. Prediction-time context ablations, in which the inferred context is zeroed or shuffled during rollout, show that the ambient context is important for stable prediction under hidden drift, while frozen linear probes characterize information encoded in the learned factors.