Pensieve: Retrospect-then-Compare Mitigates Visual Hallucination

📄 arXiv: 2403.14401v2 📥 PDF

作者: Dingchen Yang, Bowen Cao, Guang Chen, Changjun Jiang

分类: cs.CV

发布日期: 2024-03-21 (更新: 2024-09-01)

💡 一句话要点

提出Pensieve以解决多模态大语言模型的视觉幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉幻觉 图像描述生成 视觉内容比较 自适应缩放

📋 核心要点

  1. 现有的多模态大语言模型在处理视觉信息时，常常出现视觉幻觉，导致生成内容与实际图像不符。
  2. 论文提出的Pensieve方法通过回顾相关图像并比较其视觉内容，利用相似图像的视觉幻觉来减轻幻觉现象。
  3. 实验结果表明，Pensieve在多个基准测试中表现优异，超越了其他解码策略，有效提升了生成描述的准确性和细节识别能力。

📝 摘要（中文）

多模态大语言模型（MLLMs）在各种视觉-语言任务中取得了显著成功，但在生成响应时常出现视觉幻觉，即生成的内容与提供的图像不一致。我们的研究表明，视觉分支可能同时支持准确和错误的内容。为了解决这一问题，我们提出了Pensieve，这是一种无训练的方法，利用具有相似语义和外观特征的图像所引发的视觉幻觉来减轻幻觉。具体而言，Pensieve使MLLMs能够回顾相关图像作为参考，并通过置信度得分减法比较其视觉内容与测试图像。此外，我们的范式通过自适应缩放减去的得分，平衡了来自视觉和文本分支的错误修正效果。在Whoops、LLaVA Bench、POPE和MME上的实验表明，Pensieve在减轻视觉幻觉方面的有效性超越了其他先进的解码策略，同时帮助MLLMs识别视觉细节，增强生成图像描述的特异性。

🔬 方法详解

问题定义：本论文旨在解决多模态大语言模型在生成过程中出现的视觉幻觉问题。现有方法未能有效区分准确与错误的视觉信息，导致生成内容的准确性下降。

核心思路：Pensieve的核心思路是利用具有相似语义和外观特征的图像所引发的视觉幻觉，通过回顾相关图像并进行视觉内容比较，来减轻幻觉现象。

技术框架：Pensieve的整体架构包括两个主要模块：回顾模块和比较模块。回顾模块负责选择与测试图像相关的参考图像，而比较模块则通过置信度得分减法来评估视觉内容的相似性。

关键创新：Pensieve的主要创新在于其训练-free的设计，利用相似图像的视觉幻觉进行有效的内容比较，显著提升了生成内容的准确性。这与传统方法依赖于大量训练数据的方式形成鲜明对比。

关键设计：在设计中，Pensieve采用自适应缩放的方式调整减去的得分，以平衡视觉和文本分支的错误修正效果。具体的参数设置和损失函数设计尚未详细披露，属于未知领域。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Whoops、LLaVA Bench、POPE和MME等多个基准测试中，Pensieve显著超越了其他先进的解码策略，具体提升幅度未详细披露，但实验结果表明其在减轻视觉幻觉方面的有效性显著，增强了生成描述的细节和准确性。

🎯 应用场景

该研究的潜在应用领域包括智能图像描述生成、视觉问答系统以及多模态内容生成等。通过减轻视觉幻觉，Pensieve能够提升生成模型在实际应用中的可靠性和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multi-modal Large Language Models (MLLMs) demonstrate remarkable success across various vision-language tasks. However, they suffer from visual hallucination, where the generated responses diverge from the provided image. Are MLLMs oblivious to the accurate visual cues when they hallucinate? Our investigation reveals that the visual branch may equally advocate both accurate and erroneous content. To address this issue, we propose Pensieve, a training-free method that leverages the analogous visual hallucinations, which are induced by images sharing common semantic and appearance characteristics, to mitigate hallucination. Specifically, Pensieve enables MLLMs to retrospect relevant images as references and compare their visual content with the test image via confidence score subtraction. Moreover, our paradigm balances the effects of addressing errors from both the visual and textual branches by adaptively scaling the subtracted scores. Experiments on Whoops, LLaVA Bench, POPE, and MME demonstrate the efficacy of Pensieve in mitigating visual hallucination, surpassing other advanced decoding strategies. Pensieve also aids MLLMs in identifying visual details and enhance the specificity of generated image descriptions.