Adapting Video Models for Robot Control via Motion-guided Asymmetric Prediction

📄 arXiv: 2610.36624v1 📥 PDF

作者: Taeyoung Kim, Junyoung Sung, Heeseung Kwon, Minseop Kim, Jinwoo Shin

分类: cs.CV, cs.AI

发布日期: 2026-10-27

备注: Project page: https://ismty0805.github.io/mogap/

💡 一句话要点

提出运动引导的不对称预测以提升机器人控制性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人控制 视频生成模型 运动引导 不对称预测 策略性能提升

📋 核心要点

  1. 现有的视觉预测方法对所有视觉区域处理均匀，未能考虑不同区域对机器人控制的相关性，导致性能不足。
  2. 提出运动引导的不对称预测（MoGAP），通过将监督集中在动态区域，提升机器人控制策略的性能。
  3. 在GR-1桌面基准测试中，MoGAP使Fast-WAM的成功率从38.8%提升至47.5%，Cosmos3-Nano的成功率从52.3%提升至62.3%。

📝 摘要（中文）

世界动作模型（WAMs）利用预训练的视频生成模型进行机器人控制，通过联合预测未来的视觉观察和动作。然而，标准的视觉预测方法对所有视觉区域的处理是均匀的，未考虑其对机器人控制的不同相关性。本文研究了WAMs中视觉监督的空间分配，发现将监督集中在动态区域上可以显著提升策略性能。基于此，我们提出了运动引导的不对称预测（MoGAP），该方法在WAM训练中增强了运动聚焦的视觉预测。MoGAP通过在共享的视频扩散骨干网络中引入训练专用的辅助预测路径，使用直接从训练视频中提取的运动线索进行训练，无需外部教师或额外模态。实验结果表明，MoGAP在多个机器人操作基准和WAM架构上均能持续提升策略性能。

🔬 方法详解

问题定义：本文旨在解决现有视频生成模型在机器人控制中的视觉预测不足，尤其是对不同视觉区域的处理不均匀，影响了策略性能。

核心思路：提出MoGAP，通过运动引导的方式，聚焦于动态区域的视觉预测，利用静态区域作为上下文信息，提升模型对动态区域的重建能力。

技术框架：MoGAP在WAM训练中引入了一个辅助预测路径，利用共享的视频扩散骨干网络进行训练，结合标准的视频动作预测，形成一个多任务学习框架。

关键创新：MoGAP的核心创新在于不对称的噪声分配策略，允许模型在训练中更专注于动态区域的重建，这一设计与传统的均匀处理方法形成鲜明对比。

关键设计：在训练过程中，MoGAP使用从视频中提取的运动线索，设计了特定的损失函数以强调动态区域的重建，同时保持静态区域的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个机器人操作基准测试中，MoGAP显著提升了策略性能，Fast-WAM的成功率从38.8%提升至47.5%，而Cosmos3-Nano的成功率则从52.3%提升至62.3%，展示了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等。通过提升机器人在复杂环境中的控制能力，MoGAP可以为实际应用提供更高的成功率和效率，推动智能机器人技术的发展。

📄 摘要（原文）

World Action Models (WAMs) leverage pretrained video generative models for robotic control by jointly predicting future visual observations and actions. The visual prediction objective plays a key role in adapting pretrained video representations to the target robot domain. Yet standard visual prediction inherited from video pretraining treats all visual regions uniformly, despite their differing relevance to robotic control. We therefore investigate the spatial allocation of visual supervision in WAMs and show that focusing supervision on dynamic regions can substantially improve policy performance. Building on this finding, we introduce Motion-Guided Asymmetric Prediction (MoGAP), which augments WAM training with motion-focused visual prediction. MoGAP allocates noise asymmetrically across regions, training the model to reconstruct more heavily corrupted dynamic regions using less corrupted static regions as context. MoGAP is trained alongside standard video-action prediction through a training-only auxiliary prediction path within the shared video diffusion backbone. It uses motion cues derived directly from training videos, requiring neither an external teacher nor additional modalities. Across robot manipulation benchmarks and WAM architectures, MoGAP consistently improves policy performance, increasing success rates on the GR-1 tabletop benchmark from 38.8% to 47.5% for Fast-WAM (Wan2.2-5B) and from 52.3% to 62.3% for Cosmos3-Nano.