BridgeVLA++: A Data-Efficient, Generalizable, and Memory-Augmented Vision-Language-Action Framework for 3D Manipulation

📄 arXiv: 2608.05042v1 📥 PDF

作者: Peiyan Li, Yuze Zhu, Yixiang Chen, Qisen Ma, Yuan Xu, Jiabing Yang, He Guan, Yan Huang, Hongtao Wu, Xiao Ma, Tao Kong, Liang Wang, Tieniu Tan

分类: cs.RO

发布日期: 2026-08-05

备注: This work has been submitted to the IEEE TPAMI for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出BridgeVLA++以解决3D操作中的数据效率和记忆问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 3D操作 时空记忆 数据效率 泛化能力 机器人技术 多模态学习

📋 核心要点

  1. 现有3D VLA方法对数据的需求较高，泛化能力有限，且缺乏对历史观察的记忆，限制了其在数据稀缺和开放世界场景中的应用。
  2. 本文提出BridgeVLA++，通过引入统一的时空记忆架构，增强了模型对空间上下文和时间交互历史的建模能力，从而提升了数据效率和泛化能力。
  3. 实验结果显示，BridgeVLA++在空间操作任务上表现优异，并在两个记忆依赖的基准上实现了最先进的性能，验证了其在双手操作和不同机器人平台上的有效性。

📝 摘要（中文）

利用预训练的视觉-语言模型（VLM）构建视觉-语言-动作（VLA）模型已成为3D机器人操作的有前景的范式。然而，现有的3D VLA方法仍然对数据需求较高，在分布变化下的泛化能力有限，并且缺乏对过去观察的明确记忆。为了解决这些问题，本文提出了BridgeVLA++，通过统一的时空记忆架构增强了BridgeVLA，能够建模持久的空间上下文和时间交互历史。实验表明，BridgeVLA++在空间操作任务上表现出色，并在两个具有挑战性的记忆依赖操作基准上达到了最先进的性能，同时保持了数据效率和泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有3D VLA方法在数据效率、泛化能力和记忆能力方面的不足，尤其是在数据稀缺和开放世界场景中的应用挑战。

核心思路：通过引入统一的时空记忆架构，BridgeVLA++能够有效建模持久的空间上下文和时间交互历史，从而增强模型的推理能力，同时保持数据效率。

技术框架：整体架构包括输入的点云数据通过多视图图像投影，生成中间热图，然后基于这些热图生成机器人动作。新增的时空记忆模块负责存储和处理历史观察数据。

关键创新：BridgeVLA++的主要创新在于引入了时空记忆架构，使得模型能够在进行3D操作时考虑到过去的观察历史，这在现有方法中是缺乏的。

关键设计：模型设计中采用了特定的损失函数来优化记忆模块的学习，同时在网络结构上进行了调整，以确保时空信息的有效整合和利用。具体参数设置和网络层次结构在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BridgeVLA++在空间操作任务上表现出色，尤其在两个记忆依赖的基准上达到了最先进的性能，相较于原始BridgeVLA，保持了数据效率和泛化能力的同时，提升了操作的准确性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、智能家居、工业自动化等，能够在数据稀缺的情况下实现高效的3D操作。未来，BridgeVLA++可能推动更多智能机器人在复杂环境中的自主操作能力，提升人机协作的效率与安全性。

📄 摘要（原文）

Leveraging pre-trained vision-language models (VLMs) to construct vision-language-action (VLA) models has emerged as a promising paradigm for 3D robot manipulation. However, existing 3D VLA methods remain data-hungry, exhibit limited generalization under distribution shifts, and lack explicit memory of past observations. These limitations hinder their application to data-scarce, open-world, and memory-dependent manipulation scenarios. Our previous work, BridgeVLA, improves data efficiency and generalization by preserving the input--output alignment of a pre-trained VLM during 3D action learning: raw point clouds are projected into multi-view images, and intermediate heatmaps are predicted before generating robot actions. In this work, we develop BridgeVLA++ by equipping BridgeVLA with a unified spatio-temporal memory architecture that models persistent spatial context and temporal interaction history. The resulting memory-augmented framework can reason over observation histories while preserving BridgeVLA's data efficiency and generalization capabilities. Extensive experiments show that our framework achieves strong performance on spatial manipulation tasks while exhibiting robust generalization. BridgeVLA++ further achieves state-of-the-art performance on two challenging memory-dependent manipulation benchmarks without sacrificing the data efficiency and generalization of the original BridgeVLA. In addition, BridgeVLA++ performs effectively in bimanual manipulation settings and is validated on an additional real-world robotic platform, demonstrating its scalability across tasks, environments, and robotic platforms. These results establish BridgeVLA++ as a unified 3D vision-language-action framework that simultaneously supports data-efficient learning, robust generalization, and effective memory-aware robot manipulation. Project website: https://bridgevla-plus.github.io/.