Multi-Modal Hallucination Control by Visual Information Grounding

📄 arXiv: 2403.14003v1 📥 PDF

作者: Alessandro Favero, Luca Zancato, Matthew Trager, Siddharth Choudhary, Pramuditha Perera, Alessandro Achille, Ashwin Swaminathan, Stefano Soatto

分类: cs.CV, cs.CL, cs.LG

发布日期: 2024-03-20

期刊: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2024

💡 一句话要点

提出多模态互信息解码方法以降低生成模型的幻觉现象

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 生成模型 视觉-语言模型 多模态互信息 幻觉现象 图像描述生成 视觉问答 直接偏好优化

📋 核心要点

  1. 现有生成视觉-语言模型在生成文本时，常出现与输入图像不一致的幻觉现象，影响模型的可靠性。
  2. 本文提出多模态互信息解码（M3ID）方法，通过增强视觉提示的影响力，减少对语言先验的依赖，从而降低幻觉现象。
  3. 实验结果表明，M3ID在LLaVA 13B模型中，减少了25%和28%的幻觉对象，并在VQA基准上提高了21%和24%的准确率。

📝 摘要（中文）

生成视觉-语言模型（VLMs）在生成文本答案时，常常出现与输入图像不相符的现象，称为“幻觉”。本文探讨了这一现象的根源，发现其主要源于对语言先验的过度依赖。为减少幻觉，提出了一种新的采样方法——多模态互信息解码（M3ID），该方法增强了参考图像对语言先验的影响，从而促进生成与视觉提示具有更高互信息的标记。M3ID可在推理时应用于任何预训练的自回归VLM，且无需进一步训练，计算开销极小。实验证明，M3ID能在保持流畅性的同时，显著降低幻觉现象。

🔬 方法详解

问题定义：本文旨在解决生成视觉-语言模型中幻觉现象的问题，现有方法过度依赖语言先验，导致生成的文本与输入图像不一致。

核心思路：提出多模态互信息解码（M3ID）方法，通过增强图像提示的影响力，降低对语言先验的依赖，从而减少幻觉现象。

技术框架：M3ID方法包括图像提示的增强、语言生成的互信息计算和采样策略的调整，整体流程为输入图像和文本提示，经过M3ID处理后生成最终文本。

关键创新：M3ID的核心创新在于通过互信息解码增强视觉信息的影响力，显著改善了生成文本的准确性，与传统方法相比，减少了幻觉现象。

关键设计：M3ID在设计上不需要额外的训练，且计算开销极小，能够与直接偏好优化（DPO）结合使用，进一步提升模型对图像提示的依赖性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，M3ID和M3ID+DPO方法在LLaVA 13B模型中，分别减少了25%和28%的幻觉对象，并在VQA基准如POPE上提高了21%和24%的准确率，展现了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括图像描述生成、视觉问答系统和多模态内容生成等。通过降低幻觉现象，提升生成模型的准确性和可靠性，能够在实际应用中提供更为精准的结果，具有重要的实际价值和未来影响。

📄 摘要（原文）

Generative Vision-Language Models (VLMs) are prone to generate plausible-sounding textual answers that, however, are not always grounded in the input image. We investigate this phenomenon, usually referred to as "hallucination" and show that it stems from an excessive reliance on the language prior. In particular, we show that as more tokens are generated, the reliance on the visual prompt decreases, and this behavior strongly correlates with the emergence of hallucinations. To reduce hallucinations, we introduce Multi-Modal Mutual-Information Decoding (M3ID), a new sampling method for prompt amplification. M3ID amplifies the influence of the reference image over the language prior, hence favoring the generation of tokens with higher mutual information with the visual prompt. M3ID can be applied to any pre-trained autoregressive VLM at inference time without necessitating further training and with minimal computational overhead. If training is an option, we show that M3ID can be paired with Direct Preference Optimization (DPO) to improve the model's reliance on the prompt image without requiring any labels. Our empirical findings show that our algorithms maintain the fluency and linguistic capabilities of pre-trained VLMs while reducing hallucinations by mitigating visually ungrounded answers. Specifically, for the LLaVA 13B model, M3ID and M3ID+DPO reduce the percentage of hallucinated objects in captioning tasks by 25% and 28%, respectively, and improve the accuracy on VQA benchmarks such as POPE by 21% and 24%.