Can LLMs See Without Pixels? Benchmarking Spatial Intelligence from Textual Descriptions

📄 arXiv: 2601.03590v1 📥 PDF

作者: Zhongbin Guo, Zhen Yang, Yushan Li, Xinyue Zhang, Wenyu Gao, Jiacheng Wang, Chengzhi Li, Xiangrui Liu, Ping Jian

分类: cs.CV, cs.AI

发布日期: 2026-01-07

🔗 代码/项目: GITHUB

💡 一句话要点

提出SiT-Bench基准，评估大型语言模型在无像素输入下的空间智能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间智能 大型语言模型 文本推理 具身智能 视觉-语言模型

📋 核心要点

  1. 现有空间智能研究主要依赖视觉-语言模型，但视觉编码器和推理骨干网络哪个是空间理解的关键来源尚不明确。
  2. 论文提出SiT-Bench基准，将视觉场景转换为文本描述，考察LLM在无像素输入下的空间推理能力，避免视觉模式匹配。
  3. 实验表明，LLM在局部语义任务表现良好，但在全局一致性方面存在差距，显式空间推理能显著提升性能。

📝 摘要（中文）

本文提出了SiT-Bench，一个新颖的基准，旨在评估大型语言模型（LLMs）在没有像素级别输入情况下的空间智能（SI）性能。该基准包含超过3800个由专家标注的项目，涵盖五个主要类别和17个子任务，范围从以自我为中心的导航、透视变换到精细的机器人操作。通过将单视角/多视角场景转换为高保真、坐标感知的文本描述，该基准挑战LLMs执行符号文本推理，而不是视觉模式匹配。对最先进的LLMs的评估结果表明，虽然模型在局部语义任务中表现出色，但在全局一致性方面仍然存在显著的“空间差距”。值得注意的是，显式的空间推理显著提高了性能，表明LLMs具有潜在的世界建模能力。SiT-Bench作为基础资源，旨在促进未来VLMs和具身智能体中具有空间基础的LLM骨干网络的发展。代码和基准将在https://github.com/binisalegend/SiT-Bench发布。

🔬 方法详解

问题定义：现有空间智能研究严重依赖视觉信息，缺乏对语言模型本身空间推理能力的有效评估。现有方法难以区分空间理解是来源于视觉编码器还是语言模型的推理能力。因此，需要一个基准来专门评估LLM在没有视觉输入情况下的空间智能。

核心思路：核心思路是将视觉场景转换为高保真、坐标感知的文本描述，然后利用这些文本描述来挑战LLM执行空间推理任务。通过这种方式，可以避免LLM依赖视觉模式匹配，而专注于符号文本推理，从而更准确地评估其空间智能。

技术框架：SiT-Bench基准包含以下几个关键组成部分：1) 数据集：包含超过3800个专家标注的项目，涵盖五个主要类别（例如，导航、透视变换、机器人操作）和17个子任务。2) 文本描述生成：将单视角/多视角场景转换为高保真、坐标感知的文本描述。3) 评估协议：设计了一套评估指标，用于衡量LLM在不同空间推理任务上的性能。4) 基线模型：评估了当前最先进的LLM在SiT-Bench上的性能，并分析了它们的优势和不足。

关键创新：该论文的关键创新在于提出了SiT-Bench基准，该基准专门用于评估LLM在没有视觉输入情况下的空间智能。与现有方法相比，SiT-Bench避免了LLM依赖视觉模式匹配，而是专注于符号文本推理，从而更准确地评估其空间智能。此外，SiT-Bench还涵盖了广泛的空间推理任务，包括导航、透视变换和机器人操作等。

关键设计：在文本描述生成方面，论文使用了坐标感知的方法，确保文本描述能够准确地反映场景中物体的位置和关系。在评估指标方面，论文设计了一套综合的指标，包括准确率、召回率和F1值等，用于衡量LLM在不同空间推理任务上的性能。此外，论文还探索了不同的提示工程技术，以提高LLM的性能。

📊 实验亮点

实验结果表明，虽然LLM在局部语义任务中表现出色，但在全局一致性方面仍然存在显著的“空间差距”。显式的空间推理显著提高了性能，表明LLMs具有潜在的世界建模能力。例如，通过引入明确的空间关系描述，模型在某些任务上的性能提升了10%以上。

🎯 应用场景

该研究成果可应用于开发更强大的具身智能体和视觉-语言模型。例如，可以利用具有空间推理能力的LLM来改进机器人的导航和操作能力，或者构建能够理解和生成更自然、更准确的场景描述的视觉-语言模型。此外，该研究还可以促进对人类空间认知机制的理解。

📄 摘要（原文）

Recent advancements in Spatial Intelligence (SI) have predominantly relied on Vision-Language Models (VLMs), yet a critical question remains: does spatial understanding originate from visual encoders or the fundamental reasoning backbone? Inspired by this question, we introduce SiT-Bench, a novel benchmark designed to evaluate the SI performance of Large Language Models (LLMs) without pixel-level input, comprises over 3,800 expert-annotated items across five primary categories and 17 subtasks, ranging from egocentric navigation and perspective transformation to fine-grained robotic manipulation. By converting single/multi-view scenes into high-fidelity, coordinate-aware textual descriptions, we challenge LLMs to perform symbolic textual reasoning rather than visual pattern matching. Evaluation results of state-of-the-art (SOTA) LLMs reveals that while models achieve proficiency in localized semantic tasks, a significant "spatial gap" remains in global consistency. Notably, we find that explicit spatial reasoning significantly boosts performance, suggesting that LLMs possess latent world-modeling potential. Our proposed dataset SiT-Bench serves as a foundational resource to foster the development of spatially-grounded LLM backbones for future VLMs and embodied agents. Our code and benchmark will be released at https://github.com/binisalegend/SiT-Bench .