Perceive, Interact, Reason: Building Tool-Augmented Visual Agents for Spatial Reasoning

📄 arXiv: 2606.12830v1 📥 PDF

作者: Changye Li, Meng Lu, Yi Wu, Ligeng Zhu

分类: cs.CV, cs.AI

发布日期: 2026-06-11

💡 一句话要点

提出PERIA以解决空间推理任务中的工具增强问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间推理 工具增强 视觉感知 多模态学习 智能代理

📋 核心要点

  1. 现有的视觉语言模型在空间推理任务中表现不足，无法有效进行主动证据获取和多步交互。
  2. 本文提出了PERIA，通过引入工具增强的方式，结合视觉感知和交互工具来提升空间推理能力。
  3. 实验结果显示，PERIA-8B在多个基准测试中超越了现有的最先进模型，提升幅度达到10.0%-14.8%。

📝 摘要（中文）

尽管近期的视觉语言模型在多模态理解方面表现出色，但在需要主动获取证据和多步视觉交互的空间推理任务中仍存在局限性。为此，本文提出了PERception-Interaction-reason Agent（PERIA），一个用于空间推理任务的工具增强视觉代理。PERIA利用两种轻量级工具：视觉感知工具用于揭示文本、符号和空间证据，视觉交互工具用于操控视觉上下文、追踪路径和验证空间关系。通过综合监督工具使用轨迹合成、复合奖励和观察放松的组内组策略优化（OR-GIGPO），我们有效训练了PERIA。实验结果表明，PERIA-8B在多个基准测试中显著提升了性能，展示了其在增强空间推理能力方面的有效性。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言模型在空间推理任务中的局限性，特别是在主动获取证据和进行多步视觉交互方面的不足。现有方法依赖隐式视觉表示，难以恢复细粒度的空间证据。

核心思路：论文提出的PERIA通过引入工具增强的方式，利用视觉感知工具和视觉交互工具，来有效获取和操作空间信息，从而提升空间推理能力。这样的设计使得模型能够在复杂的视觉环境中进行更为精确的推理。

技术框架：PERIA的整体架构包括两个主要模块：视觉感知工具和视觉交互工具。前者用于揭示文本、符号和空间证据，后者用于操控视觉上下文、追踪路径和验证空间关系。训练过程中采用了监督工具使用轨迹合成和复合奖励机制。

关键创新：PERIA的核心创新在于引入了工具增强的概念，通过结合多种工具实现了更为灵活和高效的空间推理能力。这一方法与传统的视觉语言模型有本质区别，后者往往依赖于静态的视觉表示。

关键设计：在训练过程中，采用了观察放松的组内组策略优化（OR-GIGPO）来有效管理多工具行为。此外，设计了复合奖励机制，以鼓励模型在空间推理任务中进行有效的工具使用和交互。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PERIA-8B在13个基准测试中相较于Qwen3-8B在同类任务上提升了10.0%，在不同分布的基准上提升了4.4%。同时，PERIA-8B的表现超越了多个同类最先进模型，提升幅度达到7.0%-14.8%。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、增强现实等，能够在复杂环境中进行空间推理和决策。通过提升模型的空间理解能力，未来可能在多种实际场景中实现更高效的任务执行和人机交互。

📄 摘要（原文）

While recent vision-language models (VLMs) demonstrate strong multimodal understanding, they remain limited in spatial reasoning tasks that require active evidence acquisition and multi-step visual interaction. This limitation suggests that relying solely on implicit visual representations from vision encoders is insufficient for recovering fine-grained spatial evidence. We introduce PERception-Interaction-reason Agent (PERIA), a tool-augmented visual agent for spatial reasoning tasks across map reasoning, visual probing, and vision reconstruction. PERIA uses two lightweight tool families: vision perception tools for exposing textual, symbolic, and spatial evidence, and vision interaction tools for manipulating visual context, tracing paths, and verifying spatial relations. To train PERIA, we develop a unified recipe that combines supervised tool-use trajectory synthesis, composite rewards, and Observation-Relaxed Group-in-Group Policy Optimization (OR-GIGPO) for effective multi-tool behavior. Experiments on 13 benchmarks from 8 datasets show that PERIA-8B improves over the Qwen3-8B backbone by 10.0% on in-distribution benchmarks and 4.4% on out-of-distribution benchmarks, while outperforming previous state-of-the-art baselines of similar size by 7.0%-14.8%. It also achieves performance comparable to much larger models such as Qwen3-VL-235B-A22B-Thinking and GPT-5, demonstrating the effectiveness of PERIA in enhancing spatial reasoning capabilities.