SpatialQuery: Benchmarking Geometry-Grounded Multi-Instance Spatial Reasoning in Vision-Language Models

📄 arXiv: 2608.01709v1 📥 PDF

作者: Hai Nguyen, Tung Vu, Cong Tran

分类: cs.CV

发布日期: 2026-08-03

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SPATIALQUERY以解决视觉语言模型的空间推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间推理 视觉语言模型 几何恢复 多实例比较 不确定性感知

📋 核心要点

  1. 现有视觉语言模型在处理空间推理时，尤其是涉及多个同类物体实例的比较时，表现不佳，导致推理结果不可靠。
  2. 本文提出SPATIALQUERY框架，通过单张RGB图像进行CIDQ推理，利用场景立方体化技术将实例几何信息转化为标准鸟瞰图。
  3. 实验结果显示，SPATIALQUERY在不进行任务特定微调的情况下，取得了优于现有模型的性能，显著提升了空间推理的准确性。

📝 摘要（中文）

视觉语言模型（VLMs）在语义理解方面表现出色，但在度量空间推理上仍然不可靠，尤其是在需要比较同一物体类别多个实例的查询时。本文通过最近实例距离查询（CIDQ）研究这一问题，要求模型识别唯一参考物体的最近可见候选对象并估计其重力对齐的地面平面距离。我们引入了SPATIALQUERY，一个无需训练的CIDQ推理框架，并提供了包含超过一百万个RGB问题-答案对的基准SPATIALQUERY-1M。SPATIALQUERY恢复实例级度量几何，并通过场景立方体化将其转换为标准鸟瞰图，强调物体的相对地面位置。此外，我们提出了不确定性感知的思维链（UA-CoT）提示，将几何推导的每实例不确定性纳入VLM推理过程中。SPATIALQUERY与Qwen3-VL-8B结合，达到了0.259米的Floor-MAE，90.5%的Unc-Acc@0.3米和84.18%的接近决策准确率，超越了经过微调的空间专家、通用VLM和闭源前沿模型。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在度量空间推理中的不足，特别是在需要比较同一类别多个实例时的准确性问题。现有方法在处理此类查询时常常不可靠，导致推理结果的偏差。

核心思路：SPATIALQUERY框架通过单张RGB图像进行最近实例距离查询（CIDQ），并利用场景立方体化技术将实例几何信息转化为标准鸟瞰图，以强调物体的相对位置。

技术框架：该框架包括数据预处理、几何信息恢复、场景立方体化和不确定性感知推理四个主要模块。通过这些模块，模型能够有效地从图像中提取空间信息并进行推理。

关键创新：SPATIALQUERY的主要创新在于其训练自由的CIDQ推理能力，以及通过场景立方体化技术实现的实例级几何恢复。这与传统方法依赖于复杂的训练过程形成鲜明对比。

关键设计：在设计中，采用了不确定性感知的思维链（UA-CoT）提示，将几何推导的每实例不确定性纳入推理过程，提升了模型的推理能力和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

SPATIALQUERY与Qwen3-VL-8B结合，达到了0.259米的Floor-MAE，90.5%的Unc-Acc@0.3米和84.18%的接近决策准确率，显著超越了经过微调的空间专家和其他通用VLM模型，展示了其在空间推理任务中的优越性能。

🎯 应用场景

该研究的潜在应用领域包括智能家居、机器人导航和增强现实等场景，能够帮助系统更准确地理解和处理空间信息，从而提升用户体验和系统效率。未来，SPATIALQUERY可能在多模态交互和复杂环境理解中发挥重要作用。

📄 摘要（原文）

Vision-language models (VLMs) achieve strong semantic understanding but remain unreliable in metric spatial reasoning, particularly when queries require comparing multiple instances of the same object category. We study this problem through the Closest-Instance Distance Query (CIDQ), where a model must identify the nearest visible candidate to a unique reference object and estimate their gravity-aligned floor-plane distance. We introduce SPATIALQUERY, a training- free framework for CIDQ reasoning from a single RGB image, together with SPATIALQUERY-1M, a benchmark containing over one million RGB-only question-answer pairs from 200 indoor scenes. SPATIALQUERY recovers instance-level metric geometry and transforms it into a canonical Bird's-Eye View through Scene Cubifying, which represents objects as uniformly sized, category-coded blocks to emphasize their relative floor- plane locations. We further propose Uncertainty-Aware Chain-of-Thought (UA-CoT) prompting, which incorporates geometry- derived per-instance uncertainty into the VLM reasoning process. Without task-specific fine-tuning or architectural modification, SPATIALQUERY with Qwen3-VL-8B achieves a Floor-MAE of 0.259 m, an Unc-Acc@0.3 m of 90.5%, and a proximity-decision accuracy of 84.18%, outperforming fine-tuned spatial specialists, general-purpose VLMs, and closed-source frontier models. Code, benchmark resources, and an interactive demo are available at https://namhai1810.github.io/SpatialQuery/.