Seeing Is Not Sharing: Some Vision-Language Models Overestimate Common Ground in Asymmetric Dialogue
作者: Nan Li, Albert Gatt, Massimo Poesio
分类: cs.CL, cs.AI
发布日期: 2026-06-30
备注: 17 pages, 9 figures, 8 tables; accepted to SIGDIAL 2026
💡 一句话要点
提出视觉语言模型以解决对称对话中的共享理解问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视觉语言模型 协作对话 共享理解 多模态学习 信息处理
📋 核心要点
- 核心问题：现有视觉语言模型在协作对话中无法有效区分潜在共享内容与实际共享内容，导致理解偏差。
- 方法要点：本文提出了一种解释匹配任务，通过分析对话上下文和地图信息访问来评估模型的表现。
- 实验或效果：实验结果显示，真实地图图像的使用提升了模型性能，但也导致了对齐预测的过度估计。
📝 摘要（中文）
在协作对话中，共享感知并不保证共享解释。本文研究视觉语言模型（VLMs）是否能够区分对话参与者之间可能共享的内容与已共享的内容。我们将此问题定义为一个解释匹配任务，基于HCRC MapTask对话中的13,077个注释参考表达进行评估。结果表明，提供真实地图图像可以提高整体性能，但导致模型过度预测对齐。文本描述同样会重现这种偏差，而非信息性图像则完全抑制对齐预测，表明这种偏差是由任务相关的地图内容驱动的，而非视觉通道。模型在非对齐案例上的准确性有所下降，进一步的分析表明，模型依赖于地图上的静态指称线索，而不是通过对话历史跟踪如何建立共享理解。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型在协作对话中对共享理解的过度估计问题。现有方法未能有效区分对话参与者之间的潜在共享内容与已共享内容，导致理解偏差和性能下降。
核心思路：通过将问题定义为解释匹配任务，研究模型在不同对话上下文和地图信息访问条件下的表现，从而揭示模型的偏差来源。
技术框架：整体架构包括数据收集、注释参考表达的构建、模型训练与评估。主要模块包括对话上下文分析、地图信息处理和模型性能评估。
关键创新：最重要的技术创新在于通过系统控制对话上下文和信息访问，揭示了视觉语言模型在共享理解方面的偏差，特别是如何将地图内容视为共同理解的证据。
关键设计：在模型训练中，采用了特定的损失函数和参数设置，以优化对齐预测的准确性，同时引入了参考链追踪机制，帮助模型更好地理解对话历史中的共享内容。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用真实地图图像时，模型的整体性能显著提升，但对齐预测的准确性却下降，表明模型在处理非对齐案例时存在偏差。具体而言，Qwen3-VL-8B-Instruct模型在此方面表现最为明显。
🎯 应用场景
该研究的潜在应用领域包括人机交互、智能助手和协作机器人等。通过提高视觉语言模型在对话中的理解能力，可以增强这些系统的交互质量和用户体验，推动多模态AI的发展。
📄 摘要（原文）
In collaborative dialogue, shared perception does not guarantee shared interpretation. Mutual understanding must be established through interaction. We investigate whether vision-language models (VLMs) can distinguish what could be shared from what has been shared between dialogue participants through grounding. We formulate this as an interpretation-matching task on 13,077 annotated reference expressions from HCRC MapTask dialogues, and evaluate VLMs under systematically controlled manipulations of dialogue context and map-information access. Our results show that providing authentic map images improves overall performance but shifts models toward over-predicting alignment. Textual descriptions of the same map content reproduce this bias, while non-informative images suppress alignment predictions entirely, indicating that the bias is driven by task-relevant map content, not the visual channel. This improvement comes at the cost of degraded accuracy on non-aligned cases. Calibration analysis and reference-chain tracking further suggest that models rely on static referential cues on the maps rather than tracking how grounding unfolds through dialogue history. We observe these patterns most clearly in Qwen3-VL-8B-Instruct and, to varying degrees, in four additional models from two architecture families. In models that exhibit the bias, map content, whether presented visually or textually, is treated as evidence of mutual understanding, conflating potential with established common ground.