HiLo-WAM: Decoupling Long-Horizon Task Evolution and Local Dynamics in World Action Models
作者: Xingyu Wang, Yanjiang Guo, Zhijing Ding, Jiaxin Fang, Zeyu Lai, Jiayu Dong, Weikang Wan, Jianyu Chen, Yuxiang Gao, Mengdi Xu
分类: cs.RO
发布日期: 2026-11-03
💡 一句话要点
提出HiLo-WAM以解决长时间任务演变与局部动态耦合问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长时间任务演变 局部动态建模 机器人操作 视觉动态 双重动态变换 渐进推理 稀疏视觉流 密集视觉流
📋 核心要点
- 现有的世界行动模型主要关注短时间视觉动态，导致长时间任务上下文的捕捉不足，影响机器人操作的有效性。
- HiLo-WAM通过解耦长时间任务演变与局部视觉动态，采用稀疏和密集的视觉流来分别处理不同时间尺度的信息。
- 实验结果显示，HiLo-WAM在长时间操作任务中表现优异，成功率和进展分数显著高于基线方法，同时计算效率也得到了提升。
📝 摘要（中文）
世界行动模型（WAMs）通过联合建模视觉动态和机器人动作来改善机器人操作。然而，现有WAMs主要建模密集的短时间视觉动态，捕捉局部交互但提供有限的长时间任务上下文。延长预测时间会增加不确定性和计算负担，同时将任务级演变与细粒度局部动态纠缠在一起，模糊了它们在动作生成中的依赖关系和不同角色。为此，本文提出了HiLo-WAM，解耦了长时间任务演变与局部视觉动态，同时联合建模它们与机器人动作的交互。稀疏的长时间视觉流捕捉历史任务上下文和未来演变，而密集的局部动态视觉流则建模短时间机器人-物体交互。实验表明，HiLo-WAM在长时间操作中表现出色，在RoboTwin 2.0上达到了93.70%的平均成功率，在RoboDojo长时间任务上得分17.43，且在Fourier GR-3机器人上表现出强大的领域内和OOD性能。
🔬 方法详解
问题定义：本文旨在解决现有世界行动模型在长时间任务演变与局部动态建模上的耦合问题，导致的预测不确定性和计算负担过重。
核心思路：HiLo-WAM通过引入稀疏的长时间视觉流和密集的局部动态视觉流，分别捕捉历史任务上下文和短时间交互，从而解耦长时间任务演变与局部动态。
技术框架：HiLo-WAM采用双重动态变换（dual-DiT）架构，两个视觉流在不同时间尺度上操作，并通过结构化的跨流注意力机制引导机器人动作。
关键创新：HiLo-WAM的主要创新在于将长时间任务演变与局部动态解耦，利用不同时间尺度的视觉流来增强任务理解和动作生成的能力。
关键设计：在设计中，采用了流式部分去噪、联合去噪和动态跳过等技术来减少不必要的计算，同时优化了模型的推理速度和性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，HiLo-WAM在RoboTwin 2.0上达到了93.70%的平均成功率，在RoboDojo长时间任务中得分17.43，均显著优于现有基线方法。此外，采用渐进推理技术使得计算速度提升了2.93倍，同时改善了性能。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动化制造和人机交互等场景。通过提升机器人在复杂任务中的操作能力，HiLo-WAM可以在实际应用中显著提高效率和灵活性，推动智能系统的发展。
📄 摘要（原文）
World Action Models (WAMs) improve robotic manipulation by jointly modeling visual dynamics and robot actions. However, most existing WAMs model dense short-horizon visual dynamics, capturing local interactions but providing limited long-range task context. Extending prediction horizons increases uncertainty and computation while entangling task-level evolution with fine-grained local dynamics, obscuring their dependencies and distinct roles in action generation. We propose HiLo-WAM, which decouples long-horizon task evolution from local visual dynamics while jointly modeling their interaction with robot actions. A sparse long-horizon visual stream captures historical task context and future evolution, while a dense local dynamics visual stream models short-horizon robot-object interactions. The two streams operate at different temporal scales within a unified dual-DiT architecture and guide actions through structured cross-stream attention. Progressive inference further reduces unnecessary computation through stream-wise partial denoising, joint denoising, and dynamic skipping. Experiments demonstrate strong long-horizon manipulation performance: HiLo-WAM achieves a 93.70% average success rate on RoboTwin 2.0 and a 17.43 progress score on RoboDojo long-horizon tasks, with robust in-domain and OOD performance on the Fourier GR-3 robot. Ablations confirm the complementary contributions of long-horizon task evolution and local interaction dynamics, while temporal-scale analyses highlight the importance of balancing temporal coverage and resolution. Progressive inference further achieves a 2.93x speedup while improving performance.