KAM-WM: Kinematic Affordance Maps from Latent World Models for Robot Manipulation

📄 arXiv: 2607.04652v1 📥 PDF

作者: Xinyu Shao, Keru Zhou, Guowei Huang, Yajun Gao, Tongtong Cao, Xiu Li

分类: cs.RO

发布日期: 2026-07-06

备注: 16 pages, 8 figures, preprint

💡 一句话要点

提出KAM-WM框架以解决机器人操作中的视觉先验问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 运动能力图 机器人操作 视觉先验 潜在视频模型 动态交互 任务条件 智能机器人 自动化制造

📋 核心要点

  1. 现有方法主要依赖静态先验，如分割掩码，仅能编码交互位置，缺乏方向性信息，限制了机器人操作的灵活性。
  2. KAM-WM框架通过从冻结的潜在视频模型中提取方向性交互线索，提供任务条件下的运动能力图，增强了机器人操作的智能性。
  3. 在LIBERO和RoboTwin2.0的实验中，KAM-WM显著提高了成功率，特别是在复杂任务中，相较于零阶掩码先验，表现出更好的效果。

📝 摘要（中文）

在学习少量示范的操作过程中，需要捕捉不仅是交互位置，还有交互如何开始的视觉先验。本文提出KAM-WM框架，从冻结的潜在视频世界模型中提取粗略的方向性交互线索，而无需进行未来展开或模型微调。KAM-WM通过一次查询Flow Matching图像到视频的骨干网络，解释其单步潜在速度为运动能力图（KAM），提供任务条件下的交互区域和粗略运动结构。实验结果表明，KAM-WM在LIBERO上达到90.6%的平均成功率，在RoboTwin2.0的简单和困难设置下分别达到65.7%和22.4%的成功率，显示出冻结视频模型在控制中的有效性。

🔬 方法详解

问题定义：本文旨在解决机器人操作中对交互位置和方式的视觉先验不足的问题。现有方法如分割掩码只能提供静态的交互位置，缺乏动态交互的方向性信息，导致操作灵活性不足。

核心思路：KAM-WM框架通过从冻结的潜在视频世界模型中提取粗略的方向性交互线索，提供运动能力图（KAM），使得机器人能够在特定任务条件下更好地理解交互区域和运动结构。

技术框架：KAM-WM的整体架构包括一个Flow Matching图像到视频的骨干网络，该网络一次性查询并生成潜在速度信息，随后通过轻量级的Perceiver模块将KAM压缩为令牌，结合RGB观察和本体感知，最终用于扩散策略的条件输入。

关键创新：KAM-WM的主要创新在于利用冻结视频模型提供的方向性信息，超越了传统方法仅依赖空间定位的局限，显著提升了机器人在复杂环境中的操作能力。

关键设计：在设计中，KAM通过单步潜在速度生成，避免了未来展开的计算成本，且轻量级Perceiver的使用使得模型在处理速度和效率上得到了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，KAM-WM在LIBERO上达到了90.6%的平均成功率，而在RoboTwin2.0的简单和困难设置下分别取得了65.7%和22.4%的成功率。与零阶掩码先验的对比表明，KAM-WM的方向性信息显著提升了操作性能，展示了其在复杂任务中的优势。

🎯 应用场景

该研究的潜在应用领域包括智能机器人操作、自动化制造和人机交互等。通过提供更为智能的视觉先验，KAM-WM能够在复杂环境中实现更高效的操作，未来可能推动机器人在动态场景中的应用，提升其自主性和灵活性。

📄 摘要（原文）

Learning manipulation from few demonstrations requires visual priors that capture not only where to interact, but also how the interaction should begin; static priors such as segmentation masks encode only the former. We present KAM-WM, a framework that extracts a coarse directional interaction cue from a frozen latent video world model without rollout or world-model fine-tuning. KAM-WM queries a Flow Matching image-to-video backbone once and interprets its single-step latent velocity as a Kinematic Affordance Map (KAM), which provides task-conditioned interaction regions and coarse motion structure. A lightweight Perceiver compresses KAM into tokens that condition a diffusion policy together with RGB observations and proprioception. Across LIBERO and RoboTwin2.0, KAM-WM reaches 90.6% average success on LIBERO and achieves 65.7% and 22.4% success rates in the Easy and Hard settings on RoboTwin2.0, respectively. Controlled comparisons against a zero-order mask prior suggest that part of the gains comes from directional information beyond spatial localization alone. These results indicate that, in the evaluated settings, a frozen video model can provide a useful first-order visual prior for control without the test-time cost of future rollout.