Do Vision & Language Decoders use Images and Text equally? How Self-consistent are their Explanations?
作者: Letitia Parcalabescu, Anette Frank
分类: cs.CL, cs.AI, cs.CV, cs.LG
发布日期: 2024-04-29 (更新: 2025-05-01)
备注: 30 pages, 8 figures, 11 tables
💡 一句话要点
探讨视觉与语言解码器在生成解释时的输入依赖性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉与语言模型 多模态任务 自一致性 链式推理 自然语言生成 基准测试 模态依赖性
📋 核心要点
- 当前视觉与语言模型在生成答案和解释时对输入模态的依赖性尚不明确，存在研究空白。
- 本文通过扩展现有的单模态测试，评估VLM在生成解释与答案时的模态依赖性和自一致性。
- 实验结果显示，VLM在生成解释时对图像的依赖性显著高于生成答案时，且在VALSE基准上表现仍有待提升。
📝 摘要（中文）
视觉与语言模型（VLM）解码器在多模态任务中表现优异，能够生成自然语言解释。然而，目前尚不清楚它们在生成答案或解释时对视觉和文本输入的依赖程度。本文研究了VLM在生成解释与答案时对输入模态的不同依赖，并评估了其自一致性。研究发现，所有测试的VLM在自一致性方面普遍低于大型语言模型（LLM），且文本对所有任务的贡献大于图像。然而，在生成解释时，图像的贡献显著高于生成答案时，尤其是在链式推理（CoT）设置中。最后，本文提供了最新的VLM解码器在VALSE基准上的性能评估，发现它们在大多数现象上仍存在困难。
🔬 方法详解
问题定义：本文旨在解决视觉与语言模型在生成答案与解释时对输入模态依赖性不明确的问题，现有方法未能充分评估其自一致性和模态贡献。
核心思路：通过对VLM解码器在生成答案和解释时的模态依赖性进行比较，揭示其在不同设置下的表现差异，特别是链式推理与后置解释的影响。
技术框架：研究采用了扩展的单模态测试方法，评估VLM解码器在多种任务中的表现，主要模块包括输入模态分析、自一致性评估和基准测试。
关键创新：本文的创新在于首次系统性地比较了VLM在生成解释与答案时的模态依赖性，发现图像在解释生成中的重要性显著高于答案生成。
关键设计：在实验中，采用了多种任务设置，使用了自一致性度量和VALSE基准进行评估，确保了结果的可靠性与可比性。实验中还考虑了不同的解码器架构和参数设置。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所有测试的VLM解码器在自一致性方面普遍低于LLM，文本贡献在所有任务中均高于图像。在生成解释时，图像的贡献显著增强，尤其在链式推理设置中，显示出更强的模态依赖性。这些发现为VLM的进一步优化提供了方向。
🎯 应用场景
该研究为多模态人工智能系统的设计提供了重要见解，尤其是在需要生成自然语言解释的应用场景中，如智能助手、自动驾驶和医疗影像分析等领域。未来，研究结果可用于优化VLM的架构和训练策略，提高其在实际应用中的表现。
📄 摘要（原文）
Vision and language model (VLM) decoders are currently the best-performing architectures on multimodal tasks. Next to answers, they are able to produce natural language explanations, either in post-hoc or CoT settings. However, it is not clear to what extent they are using the input vision and text modalities when generating answers or explanations. In this work, we investigate if VLMs rely on their input modalities differently when they produce explanations as opposed to answers. We also evaluate the self-consistency of VLM decoders in both post-hoc and CoT explanation settings, by extending existing unimodal tests and measures to VLM decoders. We find that most tested VLMs are less self-consistent than LLMs. Text contributions in all tested VL decoders are more important than image contributions in all examined tasks. However, when comparing explanation generation to answer generation, the contributions of images are significantly stronger for generating explanations compared to answers. This difference is even larger in CoT compared to post-hoc explanations. Lastly, we provide an up-to-date benchmarking of state-of-the-art VL decoders on the VALSE benchmark, which before was restricted to VL encoders. We find that the tested VL decoders still struggle with most phenomena tested by VALSE.