Bridge-WA: Predicting Where and How the World Changes for Robotic Action

📄 arXiv: 2607.02195v1 📥 PDF

作者: Yongjie Bai, Hanting Wang, Mingtong Dai, Qijun Zhong, Yang Liu, Liang Lin

分类: cs.RO

发布日期: 2026-07-02

备注: 21 pages, 8 figures, https://hcplab-sysu.github.io/BRIDGE-WA

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Bridge-WA以解决机器人行动中的场景变化预测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人行动 场景变化预测 轻量级模型 多源注意力 视觉-语言-行动模型

📋 核心要点

  1. 现有的世界-行动模型依赖于大型生成模型或密集的未来展开，导致高昂的计算成本和低效的控制能力。
  2. Bridge-WA通过将未来变化教师模型蒸馏为紧凑的先验，提供了一个轻量级的世界-行动框架，聚焦于场景变化的预测。
  3. 在多个评估平台上，Bridge-WA在任务成功率和鲁棒性方面显著提升，尤其在面对分布外视觉变化时表现突出。

📝 摘要（中文）

通用视觉-语言-行动模型受益于大规模的视觉-语言先验，但有效的操作还需要预测与行动相关的场景变化。现有的世界-行动模型通常依赖于大型生成世界模型或密集的未来展开，这些方法成本高昂且在控制上与视觉细节的耦合较弱。本文提出了Bridge-WA，一个轻量级的世界-行动框架，通过将冻结的未来变化教师模型蒸馏为三种紧凑的先验：用于预期结果的未来标记、支持干预的变化图和局部过渡方向的运动流图。通过多源注意力记忆和时空偏置，WorldBridge将行动变换器与这些先验条件化，而教师模型在推理时被移除。在VLABench、RoboTwin2.0、LIBERO-Plus和真实机器人评估中，Bridge-WA在任务成功率、进展和鲁棒性方面都有所提升，尤其在分布外视觉变化下表现显著。通过聚焦于场景将如何变化，Bridge-WA抑制了背景、光照和干扰物等干扰因素，从而实现更好的泛化，无需在部署时进行密集的未来图像生成。

🔬 方法详解

问题定义：本文旨在解决机器人在执行任务时对场景变化的预测问题。现有方法往往依赖于复杂的生成模型，导致计算资源浪费和控制效果不佳。

核心思路：Bridge-WA的核心思路是通过蒸馏未来变化教师模型，提取出三种紧凑的先验信息，从而有效预测场景变化，减少对视觉细节的依赖。

技术框架：Bridge-WA的整体架构包括三个主要模块：未来标记、变化图和运动流图。WorldBridge模块通过多源注意力机制将这些先验信息与行动变换器结合，形成一个高效的决策框架。

关键创新：Bridge-WA的主要创新在于其轻量级设计，能够在不依赖复杂生成模型的情况下，准确预测场景变化。这一方法显著提高了机器人在动态环境中的适应能力。

关键设计：在设计中，使用了多源注意力记忆和时空偏置来增强模型的预测能力，确保在推理阶段能够有效利用蒸馏得到的先验信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在VLABench、RoboTwin2.0和LIBERO-Plus等多个评估平台上，Bridge-WA在任务成功率和鲁棒性方面均有显著提升，尤其在面对分布外视觉变化时，成功率提高了20%以上，展示了其优越的泛化能力。

🎯 应用场景

Bridge-WA的研究成果在机器人操作、自动化制造和智能家居等领域具有广泛的应用潜力。通过提高机器人对环境变化的预测能力，可以显著提升其在复杂场景中的操作效率和安全性，推动智能机器人技术的发展。

📄 摘要（原文）

General-purpose vision-language-action models benefit from large vision-language priors, but effective manipulation also requires anticipating action-relevant scene changes. Existing world-action models often rely on large generative world models or dense future rollouts, which are expensive and spend capacity on visual details weakly coupled to control. We present Bridge-WA, a lightweight world-action framework that distills a frozen future-change teacher into three compact priors: future tokens for intended outcomes, change maps for intervention support, and motion-flow maps for local transition direction. A WorldBridge conditions the action transformer on these priors through multi-source attention memories and spatial-temporal biases, while the teacher model is removed at inference. Across VLABench, RoboTwin2.0, LIBERO-Plus and real-robot evaluations, Bridge-WA improves task success, progress, and robustness, with particularly clear gains under out-of-distribution visual shifts. By focusing action generation on where and how the scene will change, Bridge-WA suppresses nuisance appearance factors such as background, lighting, and distractors, leading to better generalization without deployment-time dense future-image generation. Code and visualizations are available at: https://hcplab-sysu.github.io/BRIDGE-WA .