DecompSR: A dataset for decomposed analyses of compositional multihop spatial reasoning

📄 arXiv: 2511.02627 📥 PDF

作者: Lachlan McPheat, Navdeep Kaur, Robert Blackwell, Alessandra Russo, Anthony G. Cohn, Pranava Madhyastha

分类: cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出DecompSR数据集以分析组合多跳空间推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间推理 组合性分析 大型语言模型 基准数据集 程序化生成

📋 核心要点

  1. 现有方法在组合空间推理能力的评估上存在不足，尤其是在处理多跳推理和语言变异时表现不佳。
  2. 论文提出的DecompSR数据集通过程序化生成，允许用户灵活调整组合性的多个维度，以便更好地分析推理能力。
  3. 实验结果表明，现有大型语言模型在空间推理任务中对生产性和系统性概括的能力较弱，而对语言变异的适应性较强。

📝 摘要（中文）

我们介绍了DecompSR，一个用于分解空间推理的基准数据集，包含超过500万的数据点和生成框架，旨在分析组合空间推理能力。DecompSR的生成允许用户独立变化组合性的多个方面，包括生产力（推理深度）、替代性（实体和语言变异）、过度概括（输入顺序、干扰项）和系统性（新语言元素）。该数据集通过程序化构建，确保其构造的正确性，并使用符号求解器进行独立验证。我们对多个大型语言模型进行了全面基准测试，结果显示这些模型在空间推理任务中对生产性和系统性概括的表现较差，而对语言变异的鲁棒性较强。DecompSR提供了一个可证明正确且严谨的基准数据集，能够独立变化组合性的多个关键方面，从而对大型语言模型的组合推理能力进行深入探测。

🔬 方法详解

问题定义：本论文旨在解决现有组合空间推理能力评估方法的不足，特别是在多跳推理和语言变异方面的挑战。现有方法未能有效捕捉模型在不同组合性条件下的表现。

核心思路：DecompSR数据集的核心思想是通过程序化生成，允许用户独立调整组合性的多个方面，从而深入分析模型的推理能力。这种设计使得数据集在构造上是正确的，并且可以系统性地评估模型的表现。

技术框架：DecompSR的生成框架包括多个模块，首先是组合性参数的设定，其次是数据点的生成，最后是使用符号求解器进行正确性验证。整个流程确保了数据集的高质量和可靠性。

关键创新：DecompSR的最大创新在于其能够独立变化组合性的多个关键方面，如生产力、替代性、过度概括和系统性。这种灵活性使得研究者能够更细致地探讨模型的推理能力，而不仅仅是依赖于固定的测试集。

关键设计：在数据集的生成过程中，设置了多个关键参数，如推理深度、语言变异的类型和数量、干扰项的设计等。此外，使用的损失函数和网络结构也经过精心设计，以确保生成数据的多样性和代表性。

📊 实验亮点

实验结果显示，DecompSR在多个大型语言模型上的基准测试中，模型在生产性和系统性概括任务上的表现显著低于对语言变异的处理能力。这一发现为未来的模型改进提供了重要的方向。

🎯 应用场景

DecompSR数据集的潜在应用场景包括自然语言处理、机器人导航、智能问答系统等领域。通过对组合空间推理能力的深入分析，研究者可以更好地理解和改进大型语言模型的推理能力，从而推动智能系统的实际应用和发展。

📄 摘要（原文）

We introduce DecompSR, decomposed spatial reasoning, a large benchmark dataset (over 5m datapoints) and generation framework designed to analyse compositional spatial reasoning ability. The generation of DecompSR allows users to independently vary several aspects of compositionality, namely: productivity (reasoning depth), substitutivity (entity and linguistic variability), overgeneralisation (input order, distractors) and systematicity (novel linguistic elements). DecompSR is built procedurally in a manner which makes it is correct by construction, which is independently verified using a symbolic solver to guarantee the correctness of the dataset. DecompSR is comprehensively benchmarked across a host of Large Language Models (LLMs) where we show that LLMs struggle with productive and systematic generalisation in spatial reasoning tasks whereas they are more robust to linguistic variation. DecompSR provides a provably correct and rigorous benchmarking dataset with a novel ability to independently vary the degrees of several key aspects of compositionality, allowing for robust and fine-grained probing of the compositional reasoning abilities of LLMs.