Knowing Isn't Always Saying: When Do Spatial Encodings Reach Answers in Vision-Language Models?
作者: Zeyu Wang, Xinming Xu
分类: cs.CL
发布日期: 2026-08-24
备注: Accepted to appear in the EMNLP 2026 Main Conference
💡 一句话要点
提出方向补丁以解决视觉语言模型中的编码与推理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 空间编码 因果干预 多模态学习 推理能力
📋 核心要点
- 现有视觉语言模型在回答问题时未能充分利用其编码的空间信息，导致推理能力受限。
- 本文提出方向补丁作为解决方案，通过类条件因果干预，探索编码信息在不同层次和格式中的传输效果。
- 实验结果表明，因果影响在中到深层次显现，且不同模型在处理空间信息时表现出不同的传输模式。
📝 摘要（中文）
视觉语言模型已知在其隐藏状态中编码空间信息，但在回答时常常未能有效利用这些信息。本文探讨了编码信息何时以及如何影响答案的生成，提出了一种名为方向补丁的类条件因果干预方法，应用于不同层、标记位置和提示格式。研究发现，因果影响在中到深层次的答案逻辑中显现，而文本链条思维在大多数模型中抑制了即时的对象-词传输。通过对十种视觉语言模型的研究，本文揭示了局部效应形成的描述性传输模式，并通过补充实验分析了这些模式在不同数据集、属性和编码幅度下的变化。这些结果重新定义了编码与基础之间的差距，视为视觉语言模型中的条件传输问题。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型在回答问题时未能有效利用空间编码信息的问题。现有方法在推理过程中对空间信息的利用不足，导致模型性能受限。
核心思路：提出方向补丁作为核心解决方案，通过类条件因果干预，分析空间编码信息在不同层次和提示格式中的作用，旨在揭示编码信息如何影响答案生成。
技术框架：研究采用了多层次的因果干预方法，具体包括在不同的层、标记位置和提示格式上进行实验，使用空间-ID方向构建因果影响模型。
关键创新：最重要的创新在于将编码与推理之间的差距重新定义为条件传输问题，提出了方向补丁这一新方法，显著改善了模型对空间信息的利用效率。
关键设计：在实验中，设置了不同的空间-ID方向，并通过文本链条思维与视觉基础提示的对比，分析了它们对答案逻辑的影响，确保了实验的全面性与准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，因果影响在中到深层次的答案逻辑中显现，且文本链条思维在大多数模型中抑制了即时的对象-词传输。通过方向补丁方法，模型在处理空间信息时表现出显著的性能提升，具体提升幅度未知。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、图像描述生成和多模态检索等。通过提高视觉语言模型对空间信息的利用效率，能够显著提升这些应用的准确性和用户体验，未来可能推动更智能的多模态交互技术的发展。
📄 摘要（原文）
Vision-language models are known to encode spatial information in their hidden states, yet often fail to use it when answering. However, it remains unclear when and where this encoded information reaches the answer. We address this with direction patching, a class-conditioned causal intervention applied across layers, token positions, and prompt formats. Using spatial-ID directions constructed following prior encoding evidence, we find that causal influence on answer logits emerges only at mid-to-deep depths. Text chain-of-thought suppresses immediate object-word argmax-level transport in most models, while visually grounded prompts keep it open. Positive target-logit gain can remain below the argmax threshold, and transport can re-emerge at the final prefix token or at the answer step in deeper layers. Across the ten VLMs we study, these local effects form descriptive transport patterns. Complementary experiments characterize how these patterns shift across datasets, attributes, and encoding amplitudes. Together, these results reframe the encoding-grounding gap as a problem of conditional transport in VLMs.