Faithful Grounded Visual Reasoning via Learned Proxy-Tokens

📄 arXiv: 2606.23354v1 📥 PDF

作者: Tom Hodemon, Mohamed Chaouch, Aboubacar Tuo, Angelique Loesch

分类: cs.CV

发布日期: 2026-06-22

备注: Accepted at ICIP 2026. Code, model and data available at: https://github.com/CEA-LIST/Composer

💡 一句话要点

提出Composer以解决视觉推理中的可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉问答 多模态学习 可解释性 视觉推理 代理标记 深度学习

📋 核心要点

  1. 现有的视觉推理方法在可解释性方面存在不足，特别是缺乏与视觉特征的有效语义链接。
  2. 本文提出了一种名为Composer的模型，通过学习的代理标记实现视觉基础机制，增强了可解释性。
  3. 实验结果显示，Composer在答案准确性上与传统方法相当，但视觉基础准确性提高了9.0个百分点。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在视觉问答（VQA）中取得了显著成功，但其“黑箱”特性限制了在关键领域的应用。基于文本的视觉推理方法试图通过将文本推理与视觉信息显式结合来提高可解释性，但通常缺乏与视觉特征的可学习语义链接，导致模型生成与图像证据不符的坐标。本文提出Composer，一种利用学习的代理标记的新型视觉基础机制，以促进可信的可解释性。实验结果表明，Composer在最终答案准确性上与基于坐标的方法相当，同时视觉基础准确性提高了9.0个百分点。通过展示离散代理标记比典型文本坐标更有效地捕捉空间语义，我们证明了具有可学习语义链接的视觉基础机制是实现可信和可靠的MLLMs的有前景路径。

🔬 方法详解

问题定义：本文旨在解决现有视觉推理方法在可解释性和视觉基础准确性方面的不足，尤其是缺乏有效的语义链接，导致模型生成不准确的坐标。

核心思路：提出Composer模型，利用学习的代理标记作为视觉基础机制，允许模型对视觉区域进行语义可操作的索引，从而提高可解释性和准确性。

技术框架：Composer的整体架构包括输入图像和文本，通过学习的代理标记将视觉特征与文本推理相结合，形成可操作的视觉区域。主要模块包括视觉特征提取、代理标记生成和推理模块。

关键创新：最重要的创新在于引入了离散的代理标记，这些标记能够更有效地捕捉空间语义，相较于传统的文本坐标方法，提供了更强的可解释性和准确性。

关键设计：在模型设计中，采用了特定的损失函数来优化代理标记的学习过程，并通过实验验证了其在视觉基础准确性上的提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Composer在最终答案准确性上与基于坐标的方法持平，同时视觉基础准确性提高了9.0个百分点，展示了其在视觉推理任务中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、自动驾驶系统和智能监控等关键领域，能够提升模型的可解释性和可靠性，促进其在实际应用中的推广与使用。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have achieved remarkable success in Visual Question Answering (VQA), yet their "black-box" nature hinders deployment in critical domains. Grounded Visual Reasoning (GVR) approaches attempt to improve interpretability by explicitly couple textual rationales with visual grounding information, which are typically textual coordinates. This mechanism lacks a learnable semantic link to the visual features, often resulting in a semantic-spatial gap where the model hallucinates coordinates that do not correspond to image evidences. In this work, we introduce Composer, a MLLM that leverages a novel visual grounding mechanism based on learned proxy-tokens to promote faithful interpretability. These discrete symbolic pointers explicitly index the image latent space, allowing the model to manipulate visual regions as addressable, semantically manipulable sets. To rigorously validate our novel grounding mechanism, we constructed ComposerGCoT, a dataset synthesized to enable holistic assessment of reasoning consistency and grounding accuracy. Experimental results indicate that Composer achieves performance parity with its coordinate-based counterpart in final answer accuracy, while improving visual grounding accuracy by +9.0 points. By demonstrating that discrete proxy-tokens capture spatial semantics more effectively than typical textual coordinates, we establish that visual grounding mechanisms with learnable semantic links represent a promising path toward trustworthy and reliable MLLMs.