Autoregressive Mosaics: Probing 2D Spatial Reasoning in Text-Only Language Models
作者: Ashwin Nedungadi, Stefan Oehmcke, Stefan Lüdtke
分类: cs.AI, cs.CV
发布日期: 2026-08-31
备注: WACV 2027 Submission Pre-Print
💡 一句话要点
提出自回归马赛克基准以探测文本模型的二维空间推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 空间推理 图像生成 自回归马赛克 代码生成 输出介质 布局任务
📋 核心要点
- 现有大型语言模型在生成图像程序时，无法明确区分其空间布局的内部表示与代码生成能力。
- 本文提出自回归马赛克基准，通过翻译任务和布局任务分离模型的几何理解与代码生成能力。
- 实验结果表明，模型在指定几何图形的翻译上表现一致，但在开放式布局任务中表现差异显著，且输出介质影响布局得分。
📝 摘要（中文）
大型语言模型（LLMs）在仅使用文本和代码训练的情况下，有时能够生成可识别的图像程序。然而，这是否反映了其对二维空间布局的内部表示，或仅仅是将空间描述翻译为代码的能力尚不明确。本文引入了自回归马赛克（AM-Bench）基准，旨在分离这两者的影响。通过对八个开放权重的文本和代码模型进行测试，结果显示所有模型能够可靠地将指定几何图形翻译为代码，但在开放式布局任务中的表现差异显著，表明这些差异并非仅由代码生成能力解释。此外，替换输出介质为原始SVG显著提高了所有模型的布局得分。最后，探测模型激活显示，在生成之前存在粗略的布局计划，但仅反映了提示所暗示的布局。总体而言，文本LLMs在二维空间表现的依赖于模型和输出介质，而不仅仅是代码生成能力。
🔬 方法详解
问题定义：本文旨在探讨大型语言模型在生成图像时的空间推理能力，现有方法未能有效区分模型的几何理解与代码生成能力的影响。
核心思路：通过引入自回归马赛克基准，设计翻译任务和布局任务，以评估模型在不同条件下的表现，从而揭示其空间推理能力的本质。
技术框架：整体架构包括两个主要任务：翻译任务要求模型根据完全指定的几何描述生成代码，布局任务则要求模型从不完全的提示中构建图像。
关键创新：最重要的创新在于通过分离翻译和布局任务，揭示了模型在空间推理中的不同表现，特别是输出介质对结果的影响。
关键设计：在实验中，使用了开放权重的文本和代码模型，并通过替换输出介质（如使用原始SVG）来评估其对布局得分的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所有模型在指定几何图形的翻译任务中表现一致，但在开放式布局任务中表现差异显著，且替换为原始SVG后，所有模型的布局得分均有所提升，表明输出介质对模型表现有重要影响。
🎯 应用场景
该研究为理解大型语言模型在空间推理方面的能力提供了新的视角，潜在应用于图像生成、程序自动化和人机交互等领域。未来可进一步探索如何优化模型以提升其在复杂空间布局任务中的表现。
📄 摘要（原文）
Large language models (LLMs) trained only on text and code can sometimes generate programs that draw recognizable images. However, it is unclear whether this reflects an internal representation of 2D spatial layout or simply the ability to translate spatial descriptions into code. We introduce Autoregressive Mosaics (AM-Bench), a benchmark that separates these factors: First, a translation task gives a model a fully specified geometry of a picture in words as a prompt and asks for the code that produces it. Second, a layout task requires the model to compose an image from an underspecified prompt. Across eight open-weight text-and-code-only models, all models reliably translate specified geometry into code, but their open-ended layout performance differs substantially, indicating that these differences are not explained by code-generation ability alone. An output-medium ablation further shows that the interface or medium of expression that the model uses matters: replacing procedural code with raw SVG improves layout scores across all models. Finally, probing model activations shows that a coarse layout plan is present before generation, but reflects only the layout implied by the prompt. During generation, models track the evolving geometric state instead of executing an initially fixed plan. Overall, these results show that 2D spatial performance in text-only LLMs depends on both the model and the output medium, and is not explained by code-generation ability alone.