Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization

📄 arXiv: 2608.26103v1 📥 PDF

作者: Jiaming Zhou, Qihang Zhang, Gangwei Xu, Cunxin Fan, Yujie Zhao, Ruilin Wang, Yiming Luo, Shuai Yang, Xing Zhu, Yujun Shen, Junwei Liang, Yinghao Xu

分类: cs.RO, cs.CV

发布日期: 2026-08-26

备注: https://robbyant-research.github.io/Zero-WAM/

💡 一句话要点

提出Zero-WAM以解决机器人学习中的零-shot跨任务泛化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot学习 跨任务泛化 因果模型 人类视频指导 机器人操作 自动化流程 任务规范

📋 核心要点

  1. 核心问题：现有方法在机器人学习中面临零-shot跨任务泛化的挑战，无法有效执行未见过的操作任务。
  2. 方法要点：提出Zero-WAM，通过因果视频-动作模型，利用人类视频作为任务规范，实现跨任务泛化。
  3. 实验或效果：在RoboTwin 2.0模拟中，Zero-WAM在七个未见任务上取得47.0%的成功率，显著提升了29.5个百分点。

📝 摘要（中文）

零-shot跨任务泛化，即策略必须执行训练期间未见过的操作任务，仍然是机器人学习中的一个核心挑战。在大型语言模型中，通过上下文指定新任务可以无需参数更新地执行。本文提出Zero-WAM，一个因果视频-动作模型，通过遵循上下文中的人类视频指导来执行未见任务。为了解决任务丰富的人机数据稀缺问题，提出了一个自动化流程，将任务采样的机器人轨迹转换为语义匹配的人类视频，生成了一个包含74.2K人机ICL对的HumanGen数据集。在RoboTwin 2.0模拟中，Zero-WAM在七个未见任务上实现了47.0%的平均成功率，相较于最强视频-动作基线提升了29.5个百分点。

🔬 方法详解

问题定义：论文要解决的具体问题是如何在机器人学习中实现零-shot跨任务泛化，现有方法在处理未见任务时效果不佳，缺乏有效的任务规范。

核心思路：论文的核心解决思路是将人类视频作为任务规范，通过因果视频-动作模型引导机器人执行未见任务。这种设计利用了视频中丰富的视觉线索，能够更好地传达任务意图。

技术框架：整体架构包括一个自动化流程，将机器人轨迹转换为人类视频，生成HumanGen数据集；模型训练采用上下文未来块预测（IFP）目标，抑制从已见任务中学习的捷径。

关键创新：最重要的技术创新点在于将人类视频引入机器人操作的任务规范中，区别于传统的语言描述，视频提供了更直观的任务演变信息。

关键设计：关键设计包括任务采样的机器人轨迹与人类视频的语义匹配，以及IFP目标的损失函数设计，确保模型从视频提示中提取任务信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Zero-WAM在RoboTwin 2.0模拟环境中对七个未见任务的平均成功率达到了47.0%，相较于最强视频-动作基线提升了29.5个百分点，显示出显著的性能优势。这一结果表明该方法在复杂任务泛化中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化生产线和人机协作等场景。通过实现零-shot跨任务泛化，机器人能够在复杂和动态的环境中更灵活地执行任务，提升了实际应用的价值和效率，未来可能对机器人学习和自主系统的发展产生深远影响。

📄 摘要（原文）

Zero-shot cross-task generalization, where a policy must execute manipulation tasks never seen during training, remains a central challenge in robot learning. In large language models, a novel task can be performed simply by specifying it in the context, without any parameter update. This form of in-context learning (ICL) turns generalization into a problem of task specification. To achieve cross-task generalization, we bring this paradigm to robotic manipulation, and argue that the natural task specification for manipulation is a human video: unlike language, it provides rich visual cues about the intended task evolution. We present Zero-WAM, a causal video-action model that executes unseen tasks by following in-context human video guidance. To address the scarcity of task-rich paired human-robot data, we propose an automatic pipeline that converts task-sampled robot trajectories into semantically matched human videos, yielding HumanGen, a dataset of 74.2K human-robot ICL pairs across 8.6K tasks. For model training, we further introduce an in-context future chunk prediction (IFP) objective that suppresses shortcuts learned from seen tasks and forces the policy to draw task information from the video prompt. On seven unseen tasks in RoboTwin 2.0 simulation, Zero-WAM achieves a 47.0% average success rate, an absolute improvement of 29.5 percentage points over the strongest video-action baseline. In real-world evaluations, it follows human video guidance to generalize to unseen task configurations involving multi-object scenes, long-horizon manipulation, and fine-grained insertion.