WorldBridge: Bridging Video and Action for Task Generalization in World Action Models
作者: Jun Cen, Yubo Guo, Hao Li, Liangkai Li, Yaoxu Lyu, Meng Wei, Zeqi Xiao, Sizhe Yang, Yuqiang Yang, Yifan Ye, Shanghang Zhang, Duo Zheng
分类: cs.RO
发布日期: 2026-10-29
备注: Authors are listed in alphabetical order. Project page: https://worldbridge-jd.github.io/
💡 一句话要点
提出WorldBridge以解决机器人学习中的任务泛化问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 视频泛化 动作泛化 任务迁移 机器人学习 世界动作模型 结构化注意力 联合流匹配
📋 核心要点
- 核心问题：现有的具身模型在物理环境中的任务泛化能力不足，尤其是在面对未见任务时的表现较差。
- 方法要点：提出WorldBridge，通过视频和动作专家的结构化连接，利用视频泛化和动作泛化的互补性来提升任务迁移能力。
- 实验或效果：在多个基准测试中，WorldBridge在RoboTwin 2.0上达到了96.23%的成功率，显著优于现有方法。
📝 摘要（中文）
在物理环境中实现具身模型的广泛任务泛化仍然是机器人学习中的一个核心挑战。本文通过视频泛化和动作泛化这两种互补能力，研究了世界动作模型（WAMs）中的这一挑战。通过对任务的不同视频和动作监督进行变换，考察了它们对任务迁移的贡献。在RoboTwin 2.0上，仅使用分布内视频-动作监督的成功率为25.07%。引入这些任务的视频而不带动作标签，成功率提升至55.90%；而每个任务增加一个动作标记示例，成功率进一步提升至70.70%。这些发现表明，更广泛的视频覆盖能够通过利用现有的逆动力学能力实现任务迁移，而稀疏的动作监督则进一步增强了这些能力。基于此，我们提出了WorldBridge，一个通过结构化注意力连接的独立视频和动作专家的WAM，并通过联合流匹配进行训练。该模型在多个操作基准上实现了最先进的性能。
🔬 方法详解
问题定义：本文旨在解决具身模型在物理环境中任务泛化的挑战，尤其是如何有效地将视频信息转化为可执行的动作。现有方法在处理未见任务时表现不佳，缺乏有效的任务迁移机制。
核心思路：论文提出的核心思路是通过构建一个视频与动作专家相结合的WorldBridge模型，利用视频泛化预测新任务的视觉演变，并通过动作泛化将这些预测转化为可执行行为。这样的设计旨在增强模型在面对新任务时的适应能力。
技术框架：WorldBridge的整体架构包括视频专家和动作专家两个主要模块，通过结构化注意力进行连接。模型训练采用联合流匹配的方法，确保视频和动作信息的有效融合。此外，模型还引入了双时间尺度的视觉记忆和动作强制机制，以提升任务执行的准确性。
关键创新：最重要的技术创新在于引入了视频与动作的分离专家，通过结构化注意力实现信息的高效传递。这一设计与现有方法的本质区别在于，强调了视频预测和动作基础的互补角色，从而提升了任务泛化能力。
关键设计：在模型设计中，采用了统一的数据处理管道来标准化和过滤异构的机器人轨迹和自我中心的手部监督。此外，损失函数的设计考虑了视频和动作之间的关系，确保了模型在训练过程中的有效性。具体的参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在多个操作基准测试中，WorldBridge展现了卓越的性能，包括在RoboTwin 2.0全数据设置下达到96.23%的成功率，较基线方法显著提升。此外，在清洁到随机设置中，成功率为80.9%，在RoboCasa GR1 TableTop上为82.8%，在DOMINO Level-1上为57.6%。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动化制造、家庭服务机器人等。通过提升机器人在复杂环境中的任务泛化能力，WorldBridge有望在实际应用中实现更高的灵活性和适应性，推动机器人技术的进一步发展。
📄 摘要（原文）
Achieving the broad task generalization of embodied models in physical environments remains a central challenge in robot learning. We study this challenge in World Action Models (WAMs) through two complementary capabilities: video generalization, which predicts the visual evolution of new tasks, and action generalization, which translates these predictions into executable behavior through a video-to-action bridge. By varying video and action supervision for tasks outside an initial training set, we examine their respective contributions to task transfer. On RoboTwin 2.0, using only in-distribution video-action supervision yields a 25.07% success rate on out-of-distribution tasks. Introducing videos of these tasks without their action labels raises success to 55.90%, while adding just one action-labeled demonstration per task further improves it to 70.70%. These findings suggest that broader video coverage enables task transfer by leveraging existing inverse-dynamics capabilities, while even sparse action supervision further strengthens those capabilities. Guided by this perspective, we introduce WorldBridge, a WAM with separate video and action experts connected through structured attention and trained with joint flow matching. WorldBridge incorporates visual memory at two temporal scales and action forcing, alongside a unified data processing pipeline that standardizes and filters heterogeneous robot trajectories and egocentric hand-derived supervision. Across multiple manipulation benchmarks, WorldBridge achieves state-of-the-art performance among the compared methods, including 96.23% on RoboTwin 2.0 full data setting and 80.9% on clean to random setting, 82.8% on RoboCasa GR1 TableTop, and 57.6% on DOMINO Level-1. Our study highlights the complementary roles of video prediction and action grounding in developing robots that generalize across tasks.