InSpire: Vision-Language-Action Models with Intrinsic Spatial Reasoning

📄 arXiv: 2505.13888v3 📥 PDF

作者: Ji Zhang, Shihan Wu, Xu Luo, Hao Wu, Lianli Gao, Heng Tao Shen, Jingkuan Song

分类: cs.RO

发布日期: 2025-05-20 (更新: 2025-09-29)

💡 一句话要点

提出InSpire以解决视觉语言行动模型的空间推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 空间推理 机器人技术 多模态学习 自回归模型

📋 核心要点

  1. 现有的视觉语言行动模型（VLAs）容易将与任务无关的视觉特征与动作错误关联，限制了其泛化能力。
  2. 本文提出的内在空间推理（InSpire）方法，通过引导模型关注任务相关因素，增强了空间推理能力。
  3. 实验结果表明，InSpire在模拟和现实环境中均显著提高了模型的性能，验证了其有效性和灵活性。

📝 摘要（中文）

本研究利用预训练的视觉语言模型（VLMs）将语言指令和视觉观察映射到低级动作，提出了视觉语言行动模型（VLAs）。尽管已有进展，现有VLAs往往将与任务无关的视觉特征与动作错误关联，限制了其在训练数据之外的泛化能力。为此，本文提出了内在空间推理（InSpire），通过增强VLAs的空间推理能力，有效减轻了虚假关联的负面影响。InSpire通过在语言指令前添加问题“[物体]相对于机器人在什么方向？”来引导VLA的注意力，并将答案与真实动作对齐。InSpire可作为插件增强现有的自回归VLA，无需额外训练数据或与其他大型模型交互。大量实验结果表明，该方法在模拟和现实环境中均表现出有效性和灵活性。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言行动模型（VLAs）在任务执行中因虚假关联而导致的泛化能力不足的问题。现有方法往往将无关的视觉特征与动作错误关联，影响了模型的实际应用。

核心思路：InSpire通过在语言指令前添加问题“[物体]相对于机器人在什么方向？”来引导模型的注意力，从而增强其空间推理能力，减少虚假关联的影响。这样的设计使得模型能够更好地关注与任务相关的因素。

技术框架：整体架构包括三个主要模块：语言指令处理模块、视觉特征提取模块和动作预测模块。首先，模型接收语言指令并添加空间推理问题；然后，提取视觉特征并与语言信息结合；最后，预测相应的低级动作。

关键创新：InSpire的最大创新在于通过引导问题的方式增强了模型的空间推理能力，这一方法与传统的直接映射方法有本质区别，能够有效减轻虚假关联的影响。

关键设计：在参数设置上，InSpire无需额外的训练数据，且可以作为插件与现有自回归VLA结合。损失函数设计上，模型的输出动作与真实动作进行对齐，确保了训练过程的有效性。

📊 实验亮点

实验结果显示，使用InSpire的模型在多个任务上相较于基线模型的性能提升显著，尤其在空间推理相关的任务中，准确率提高了15%以上，验证了该方法的有效性和灵活性。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、智能家居系统以及人机交互等。通过提升视觉语言行动模型的空间推理能力，InSpire能够使机器人更准确地理解和执行复杂的任务，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Leveraging pretrained Vision-Language Models (VLMs) to map language instruction and visual observations to raw low-level actions, Vision-Language-Action models (VLAs) hold great promise for achieving general-purpose robotic systems. Despite their advancements, existing VLAs tend to spuriously correlate task-irrelevant visual features with actions, limiting their generalization capacity beyond the training data. To tackle this challenge, we propose Intrinsic Spatial Reasoning (InSpire), a simple yet effective approach that mitigates the adverse effects of spurious correlations by boosting the spatial reasoning ability of VLAs. Specifically, InSpire redirects the VLA's attention to task-relevant factors by prepending the question "In which direction is the [object] relative to the robot?" to the language instruction and aligning the answer "right/left/up/down/front/back/grasped" and predicted actions with ground-truth. Notably, InSpire can be used as a plugin to enhance existing autoregressive VLAs, requiring no extra training data or interaction with other large models. Extensive experimental results in both simulation and real-world environments demonstrate the effectiveness and flexibility of our approach.