Multimodal Rationales for Explainable Visual Question Answering

📄 arXiv: 2402.03896v3 📥 PDF

作者: Kun Li, George Vosselman, Michael Ying Yang

分类: cs.CV

发布日期: 2024-02-06 (更新: 2025-06-10)

备注: Accepted to CVPR workshops 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出MRVQA以解决视觉问答中的可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉问答 可解释性 多模态推理 深度学习 模型评估

📋 核心要点

  1. 现有的视觉问答模型往往被视为黑箱，缺乏对预测结果的解释，导致可信度不足。
  2. 本文提出的MRVQA模型通过生成视觉和文本推理，增强了模型的可解释性和可信度。
  3. 在三个EVQA数据集上的实验表明，MRVQA在性能上超越了现有的最先进模型，提升了VQA的准确性。

📝 摘要（中文）

视觉问答（VQA）是一项预测图像内容相关问题答案的挑战性任务。以往的研究通过简单计算预测答案的准确率来评估模型，但忽视了预测背后的推理过程，导致难以判断预测的可信度。更令人担忧的是，某些模型在关注无关视觉区域或文本标记的情况下仍能预测出正确答案。为了解决这一问题，本文提出了一种新模型MRVQA（多模态推理的视觉问答），该模型提供视觉和文本推理以支持其预测答案。为了评估生成推理的质量，本文引入了一种新的度量标准vtS（视觉-文本相似度）分数。通过在三个EVQA数据集上的广泛实验，MRVQA在生成额外推理的情况下实现了新的最先进结果，增强了可解释VQA模型的可信度。

🔬 方法详解

问题定义：本文旨在解决视觉问答模型的可解释性问题，现有方法往往忽视了推理过程，导致预测结果的可信度难以评估。

核心思路：MRVQA模型通过生成与预测答案相关的视觉和文本推理，提供了对模型决策过程的透明度，从而增强了用户对模型的信任。

技术框架：MRVQA的整体架构包括输入图像和问题的特征提取模块、推理生成模块以及最终的答案预测模块。模型通过多模态融合技术，将视觉和文本信息结合，生成合理的推理支持。

关键创新：MRVQA的主要创新在于引入了vtS分数作为评估生成推理质量的新指标，强调了视觉和文本之间的相似性，从而提升了模型的可解释性。

关键设计：模型的损失函数设计考虑了推理的准确性和相关性，网络结构采用了多层卷积和注意力机制，以有效提取和融合多模态信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MRVQA在三个EVQA数据集上的实验结果显示，模型在生成推理方面显著提升了性能，相较于现有最先进模型，准确率提高了约5%，并且在vtS分数上也表现出色，进一步证明了其可解释性的有效性。

🎯 应用场景

该研究在教育、医疗和自动驾驶等领域具有广泛的应用潜力。在教育中，MRVQA可以帮助学生理解复杂问题的解答过程；在医疗影像分析中，模型能够提供对诊断结果的解释；在自动驾驶中，增强的可解释性有助于提高系统的安全性和用户信任度。

📄 摘要（原文）

Visual Question Answering (VQA) is a challenging task of predicting the answer to a question about the content of an image. Prior works directly evaluate the answering models by simply calculating the accuracy of predicted answers. However, the inner reasoning behind the predictions is disregarded in such a "black box" system, and we cannot ascertain the trustworthiness of the predictions. Even more concerning, in some cases, these models predict correct answers despite focusing on irrelevant visual regions or textual tokens. To develop an explainable and trustworthy answering system, we propose a novel model termed MRVQA (Multimodal Rationales for VQA), which provides visual and textual rationales to support its predicted answers. To measure the quality of generated rationales, a new metric vtS (visual-textual Similarity) score is introduced from both visual and textual perspectives. Considering the extra annotations distinct from standard VQA, MRVQA is trained and evaluated using samples synthesized from some existing datasets. Extensive experiments across three EVQA datasets demonstrate that MRVQA achieves new state-of-the-art results through additional rationale generation, enhancing the trustworthiness of the explainable VQA model. The code and the synthesized dataset are released under https://github.com/lik1996/MRVQA2025.