Perceive, Interact, Reason: Building Tool-Augmented Visual Agents for Spatial Reasoning

📄 arXiv: 2606.12830 📥 PDF

作者: Changye Li, Meng Lu, Yi Wu, Ligeng Zhu

分类: cs.CV, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出PERIA以解决空间推理任务中的工具增强问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间推理 工具增强 视觉代理 多模态理解 智能机器人

📋 核心要点

  1. 现有的视觉语言模型在空间推理任务中表现不足，无法有效进行证据获取和多步交互。
  2. 本文提出的PERIA通过引入工具增强机制，结合视觉感知和交互工具，提升空间推理能力。
  3. 实验结果表明，PERIA-8B在多个基准测试中显著提升了性能，超越了现有的最先进模型。

📝 摘要（中文）

尽管近期的视觉语言模型在多模态理解上表现出色，但在需要主动证据获取和多步视觉交互的空间推理任务中仍然存在局限性。为此，本文提出了PERception-Interaction-reason Agent（PERIA），一种用于空间推理任务的工具增强视觉代理。PERIA利用两种轻量级工具族：视觉感知工具用于揭示文本、符号和空间证据，视觉交互工具用于操控视觉上下文、追踪路径和验证空间关系。通过在13个基准测试上进行实验，PERIA-8B在分布内基准上提高了10.0%的性能，超越了同类模型的最新基线。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言模型在空间推理任务中的局限性，特别是在主动证据获取和多步交互方面的不足。现有方法依赖隐式视觉表示，难以恢复细粒度的空间证据。

核心思路：PERIA通过引入工具增强机制，利用视觉感知工具和视觉交互工具，来有效获取和操作空间信息，从而提升空间推理能力。这样的设计使得模型能够主动获取证据并进行复杂的视觉交互。

技术框架：PERIA的整体架构包括两个主要模块：视觉感知工具用于揭示文本和空间证据，视觉交互工具用于操控视觉上下文。训练过程中采用了统一的策略，包括监督工具使用轨迹合成和复合奖励机制。

关键创新：PERIA的核心创新在于引入了工具增强的视觉代理，能够通过多种工具进行有效的空间推理，这与传统方法的单一视觉表示方式形成了鲜明对比。

关键设计：在训练过程中，采用了观察放松的组内组策略优化（OR-GIGPO），并结合了多工具行为的复合奖励设计，以确保模型能够有效学习和应用不同工具的使用策略。具体的参数设置和损失函数设计也经过精心调整，以优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PERIA-8B在分布内基准上提高了10.0%的性能，在分布外基准上提高了4.4%。此外，PERIA-8B在与同类模型的对比中，性能提升幅度达到7.0%-14.8%，并且在大型模型如Qwen3-VL-235B-A22B-Thinking和GPT-5面前表现出可比的效果。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、增强现实等，能够帮助这些系统更好地理解和操作复杂的空间环境。通过增强空间推理能力，PERIA有望在实际应用中提供更高的智能化水平，推动相关技术的发展。

📄 摘要（原文）

While recent vision-language models (VLMs) demonstrate strong multimodal understanding, they remain limited in spatial reasoning tasks that require active evidence acquisition and multi-step visual interaction. This limitation suggests that relying solely on implicit visual representations from vision encoders is insufficient for recovering fine-grained spatial evidence. We introduce PERception-Interaction-reason Agent (PERIA), a tool-augmented visual agent for spatial reasoning tasks across map reasoning, visual probing, and vision reconstruction. PERIA uses two lightweight tool families: vision perception tools for exposing textual, symbolic, and spatial evidence, and vision interaction tools for manipulating visual context, tracing paths, and verifying spatial relations. To train PERIA, we develop a unified recipe that combines supervised tool-use trajectory synthesis, composite rewards, and Observation-Relaxed Group-in-Group Policy Optimization (OR-GIGPO) for effective multi-tool behavior. Experiments on 13 benchmarks from 8 datasets show that PERIA-8B improves over the Qwen3-8B backbone by 10.0% on in-distribution benchmarks and 4.4% on out-of-distribution benchmarks, while outperforming previous state-of-the-art baselines of similar size by 7.0%-14.8%. It also achieves performance comparable to much larger models such as Qwen3-VL-235B-A22B-Thinking and GPT-5, demonstrating the effectiveness of PERIA in enhancing spatial reasoning capabilities.