Rethinking CD: A Reproducibility Study and Extension on the Ineffectiveness of Contrastive Decoding at Mitigating Object Hallucinations in MLLMs

📄 arXiv: 2607.25196v1 📥 PDF

作者: Arnav Bendre, Guneesh Gupta, Kavish Grover, Chayan Aggarwal, Shreyansh Modi

分类: cs.LG

发布日期: 2026-07-28

备注: 32 pages, 9 Figures, submitted to TMLR

💡 一句话要点

重新审视对比解码以解决多模态大语言模型中的物体幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对比解码 物体幻觉 多模态大语言模型 视觉基础 生成模型 判别模型 实验验证

📋 核心要点

  1. 现有的对比解码方法在减轻多模态大语言模型中的物体幻觉方面效果不佳，存在虚假性能提升的问题。
  2. 论文通过重现和扩展前期研究，系统性地分析了对比解码的效果及其在不同数据集上的普适性。
  3. 实验结果表明，对比解码的改善往往是表面的，未能有效增强视觉基础，提示需要更可靠的减轻幻觉的方法。

📝 摘要（中文）

对比解码（CD）被提出作为一种无训练策略，以减轻多模态大语言模型（MLLMs）中的物体幻觉，且在POPE等基准上报告了增益。然而，近期研究质疑这些增益是否反映了视觉基础的真正改善。本研究重现并扩展了相关研究的发现，测试CD在判别数据集上是否引起单向输出分布的变化，并考察其在不同数据集上的普适性。实验结果表明，CD的表面改善往往是虚假的，并未能一致地转化为更强的视觉基础，挑战了当前对比解码策略的有效性。

🔬 方法详解

问题定义：本研究旨在解决对比解码在多模态大语言模型中减轻物体幻觉的有效性问题。现有方法的痛点在于其表面性能提升常常是虚假的，未能真正改善视觉基础。

核心思路：论文通过重现和扩展前期研究，验证对比解码是否引起输出分布的单向变化，并考察其在不同数据集上的适用性。

技术框架：研究采用了多个实验，分析不同对比解码策略在生成数据集上的logit分布，提出代理方法并与对比解码技术进行比较，同时研究幻觉信号在专家和业余模型各层的传播。

关键创新：最重要的创新点在于系统性地验证了对比解码的效果，揭示了其表面改善的虚假性，并提出了更可靠的减轻幻觉的方法。

关键设计：研究中使用了适应性合理性约束（APC），并在判别和生成基准上验证其对采样的影响，确保了实验的严谨性和结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在MME、POPE和CHAIR基准上，使用LLaVA和Qwen的实验验证了原始声明，表明对比解码的改善往往是虚假的，未能一致地增强视觉基础，提示需要新的方法来有效减轻幻觉。

🎯 应用场景

该研究的潜在应用领域包括多模态大语言模型的开发与优化，尤其是在需要高可靠性的视觉理解任务中。通过揭示现有方法的不足，推动了更有效的减轻幻觉策略的研究，具有重要的实际价值和未来影响。

📄 摘要（原文）

Contrastive decoding (CD) has been proposed as a training-free strategy for mitigating object hallucinations in multimodal large language models (MLLMs), with reported gains on benchmarks such as POPE. However, recent work has questioned whether these gains reflect genuine improvements in visual grounding. In this study, we reproduce and extend the findings of "The Mirage of Performance Gains: Why Contrastive Decoding Fails to Mitigate Object Hallucinations in MLLMs." Specifically, we test the claim that CD induces a unidirectional output distribution shift in discriminative datasets and examine its generalizability across datasets. We also verify that the adaptive plausibility constraint (APC) reduces sampling to greedy search on both discriminative and generative benchmarks. Beyond reproduction, we rigorously study the effects of CD across generative and discriminative datasets. We conduct several experiments that provide additional insights: we analyze the logit distributions induced by different CD strategies on generative datasets, propose a proxy method and compare its performance against CD techniques, and investigate how hallucination signals propagate through each layer of the expert and amateur models. Experimental results across MME, POPE, and CHAIR using LLaVA and Qwen validate the original claims and show that the apparent improvements from CD are often spurious and do not consistently translate into stronger visual grounding for reducing hallucinations. These findings challenge the effectiveness of current contrastive decoding strategies and motivate the development of more reliable approaches for mitigating hallucinations in MLLMs.