Mind-VLA: Instruction-Aware Spatial Representation Alignment for Vision-Language-Action Models
作者: Xingyu Ding, Yuzhong Zhao, Yang Wu, Chaoyang Zhao, Chunhai Zhao, Yifan Zhang, Jian Cheng
分类: cs.RO
发布日期: 2026-08-05
💡 一句话要点
提出Mind-VLA以解决视觉-语言-动作模型中的目标对象理解问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 3D理解 目标对象识别 空间表示对齐 机器人操作 深度学习
📋 核心要点
- 现有的VLA方法在处理特定目标对象时存在不足，无法有效利用语言指令进行精细操作。
- Mind-VLA通过识别目标对象并提取其特征，实现了指令感知的空间表示对齐，提升了3D理解能力。
- 实验结果表明，Mind-VLA在多个基准测试中表现优异，尤其在真实机器人任务中显著提高了成功率。
📝 摘要（中文）
近期的视觉-语言-动作（VLA）方法通过与3D场景几何对齐来提高泛化能力。然而，这些方法在本质上是与指令无关的，均匀对齐整个场景，忽视了语言指令指定的特定目标对象的3D几何特征。这导致在细粒度操作和目标遮挡任务中失败，因为成功依赖于对目标对象的准确3D理解。为了解决这一问题，本文提出了Mind-VLA，一种针对VLA模型的指令感知空间表示对齐方法。具体而言，Mind-VLA首先获取语言指令指定的目标对象，然后准备其目标对象的三视图，并提取相应的变分自编码器（VAE）和视觉几何图形特征（VGGT）。最后，将VLA模型的潜在表示与这些特征对齐，以实现指令感知的3D理解。Mind-VLA在LIBERO上达到了93.9%的准确率，在CALVIN上得分4.47，且使用了紧凑的345M参数骨干网络。在真实机器人任务中，面对目标遮挡时，Mind-VLA的平均成功率达54%，比现有最佳的与指令无关的方法提高了32个百分点。代码将公开发布。
🔬 方法详解
问题定义：本文旨在解决现有VLA方法在目标对象理解上的不足，特别是在细粒度操作和目标遮挡任务中，现有方法未能有效利用语言指令进行目标对象的3D几何理解。
核心思路：Mind-VLA的核心思路是通过识别语言指令指定的目标对象，提取其特征，并与VLA模型的潜在表示进行对齐，从而实现指令感知的3D理解。这样的设计使得模型能够更准确地关注目标对象，而非整个场景。
技术框架：Mind-VLA的整体架构包括三个主要阶段：首先，识别目标对象；其次，准备目标对象的三视图并提取VAE和VGGT特征；最后，将这些特征与VLA模型的潜在表示进行对齐。
关键创新：Mind-VLA的主要创新在于其指令感知的空间表示对齐方法，区别于传统的均匀对齐策略，使得模型能够针对特定目标对象进行优化。
关键设计：在设计中，Mind-VLA使用了345M参数的紧凑骨干网络，并在特征提取和对齐过程中采用了特定的损失函数，以确保对目标对象的准确建模。具体的网络结构和参数设置将在公开代码中详细说明。
🖼️ 关键图片
📊 实验亮点
Mind-VLA在LIBERO基准测试中达到了93.9%的准确率，在CALVIN上得分4.47。在真实机器人任务中，面对目标遮挡时，Mind-VLA的平均成功率为54%，比最佳的与指令无关的方法提高了32个百分点，显示出显著的性能提升。
🎯 应用场景
Mind-VLA的研究成果在机器人操作、智能家居和自动化制造等领域具有广泛的应用潜力。通过提高对目标对象的理解能力，该方法能够显著提升机器人在复杂环境中的操作精度和灵活性，推动智能系统的进一步发展。
📄 摘要（原文）
Recent Vision-Language-Action (VLA) methods improve generalization by aligning their representations with 3D scene geometry. However, these methods are fundamentally instruction-agnostic: the representations align the entire scene uniformly, neglecting the 3D geometry of the specific target object designated by the language instruction. This causes failures on fine-grained manipulation and target occlusion tasks, where success depends on accurate 3D understanding of the target object rather than the entire scene. To address this, we present Mind-VLA, an instruction-aware spatial representation alignment method for VLA models. Specifically, Mind-VLA first obtains the target object specified by the language instruction, then prepares its target-object tri-view and extracts the corresponding VAE and VGGT features. Finally, the latent representation of the VLA model is aligned with these features to enable instruction-aware 3D understanding. Mind-VLA reaches 93.9% on LIBERO and 4.47 on CALVIN with a compact 345M-parameter backbone. On real-robot tasks with target occlusion, Mind-VLA reaches 54% average success, outperforming the best-performing instruction-agnostic method in real-robot comparison by 32 percentage points. Code will be publicly available.