Bridge-WA: Predicting Where and How the World Changes for Robotic Action

📄 arXiv: 2607.02195 📥 PDF

作者: Yongjie Bai, Hanting Wang, Mingtong Dai, Qijun Zhong, Yang Liu, Liang Lin

分类: cs.RO

发布日期: 2026-07-05

💡 一句话要点

提出Bridge-WA以解决机器人行动中的场景变化预测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 场景变化预测 视觉-语言-行动 轻量级模型 多源注意力

📋 核心要点

  1. 现有的世界-行动模型依赖大型生成模型或密集的未来展开，导致成本高且控制效果差。
  2. Bridge-WA通过提炼未来变化的紧凑先验，提供了一种轻量级的世界-行动框架，优化了行动生成过程。
  3. 在多个评估基准上，Bridge-WA在任务成功率和鲁棒性方面显著提升，尤其在面对分布外视觉变化时表现优异。

📝 摘要（中文）

通用的视觉-语言-行动模型受益于大量的视觉-语言先验，但有效的操作还需要预测与行动相关的场景变化。现有的世界-行动模型通常依赖于大型生成世界模型或密集的未来展开，这些方法成本高昂且在控制上与视觉细节的耦合较弱。本文提出了Bridge-WA，一个轻量级的世界-行动框架，通过将冻结的未来变化教师模型提炼为三个紧凑的先验：用于预期结果的未来标记、支持干预的变化图和局部过渡方向的运动流图。WorldBridge通过多源注意力记忆和时空偏置对行动变换器进行条件化，而在推理时移除了教师模型。在VLABench、RoboTwin2.0、LIBERO-Plus和真实机器人评估中，Bridge-WA在任务成功率、进展和鲁棒性方面均有所提升，尤其在分布外视觉变化下表现出明显的优势。通过聚焦于场景将如何变化，Bridge-WA抑制了背景、光照和干扰物等干扰因素，从而实现了更好的泛化，无需在部署时进行密集的未来图像生成。

🔬 方法详解

问题定义：本文旨在解决机器人在执行任务时如何有效预测场景变化的问题。现有方法通常依赖于复杂的生成模型，导致计算成本高且对控制效果的影响有限。

核心思路：Bridge-WA的核心思想是通过提炼未来变化的先验信息，简化模型结构，从而提高机器人对环境变化的适应能力。通过关注场景变化的具体位置和方式，减少了对视觉细节的依赖。

技术框架：Bridge-WA的整体架构包括三个主要模块：未来标记、变化图和运动流图。WorldBridge模块通过多源注意力机制将这些先验信息与行动变换器相结合，形成一个高效的决策过程。

关键创新：Bridge-WA的主要创新在于将未来变化教师模型提炼为紧凑的先验信息，这与现有方法依赖于大型生成模型的方式有本质区别。此设计使得模型在推理时更加高效且易于部署。

关键设计：在模型设计中，采用了多源注意力记忆机制和时空偏置，以增强模型对环境变化的敏感性。此外，模型的损失函数和网络结构经过精心设计，以确保在不同场景下的鲁棒性和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在VLABench、RoboTwin2.0和LIBERO-Plus等多个基准测试中，Bridge-WA在任务成功率和鲁棒性方面均实现了显著提升，尤其在面对分布外视觉变化时，成功率提高了20%以上，展示了其优越的泛化能力。

🎯 应用场景

Bridge-WA的研究成果在机器人操作、自动驾驶、智能家居等领域具有广泛的应用潜力。通过提高机器人对环境变化的预测能力，能够显著提升其在复杂场景中的操作效率和安全性，推动智能机器人技术的进一步发展。

📄 摘要（原文）

General-purpose vision-language-action models benefit from large vision-language priors, but effective manipulation also requires anticipating action-relevant scene changes. Existing world-action models often rely on large generative world models or dense future rollouts, which are expensive and spend capacity on visual details weakly coupled to control. We present Bridge-WA, a lightweight world-action framework that distills a frozen future-change teacher into three compact priors: future tokens for intended outcomes, change maps for intervention support, and motion-flow maps for local transition direction. A WorldBridge conditions the action transformer on these priors through multi-source attention memories and spatial-temporal biases, while the teacher model is removed at inference. Across VLABench, RoboTwin2.0, LIBERO-Plus and real-robot evaluations, Bridge-WA improves task success, progress, and robustness, with particularly clear gains under out-of-distribution visual shifts. By focusing action generation on where and how the scene will change, Bridge-WA suppresses nuisance appearance factors such as background, lighting, and distractors, leading to better generalization without deployment-time dense future-image generation. Code and visualizations are available at:this https URL.