VIGOR: Visual Gain Ordering for Hallucination Mitigation in Multimodal Discrete Diffusion Language Models

📄 arXiv: 2611.05066v1 📥 PDF

作者: Junzhe Chen, Tian Qin, Eugenie Shi, Tianshu Zhang, Qiang Ju, Lijie Wen

分类: cs.CV, cs.AI

发布日期: 2026-11-03

备注: Accepted to NeurIPS 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出VIGOR以解决多模态离散扩散语言模型的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 幻觉问题 视觉增益排序 离散扩散模型 推理策略

📋 核心要点

  1. 现有的多模态离散扩散语言模型在生成过程中容易出现幻觉，输出缺乏图像支持。
  2. 论文提出的VIGOR策略通过视觉证据重新排序掩码位置，避免过早承诺问题。
  3. 实验结果显示，VIGOR在LLaDA-V和Lumina-DiMOO上显著降低幻觉率，提升多模态推理性能。

📝 摘要（中文）

多模态离散扩散语言模型（dLLMs）通过迭代掩码预测生成响应，但仍然面临幻觉问题，即生成的输出在语言先验下看似合理，但缺乏图像的支持。我们认为，dLLMs中的幻觉不仅是一个标记预测问题，更是一个过早承诺问题：在迭代去噪过程中，一些掩码位置因语言先验的影响而过早解掩，这会偏向后续生成。为了解决这一问题，我们提出了视觉增益排序（VIGOR），这是一种无训练且可插拔的推理策略，根据反事实视觉证据重新排序掩码位置。在每个去噪步骤中，VIGOR比较每个候选标记在原始图像条件下和额外的视觉消融下的置信度，优先考虑那些更强地得到图像支持的预测。实验结果表明，VIGOR在多个基准上持续减少幻觉并提升多模态推理性能。

🔬 方法详解

问题定义：本文旨在解决多模态离散扩散语言模型（dLLMs）中的幻觉问题，现有方法在生成过程中容易因语言先验导致过早承诺，影响生成质量。

核心思路：VIGOR通过引入视觉增益排序机制，比较候选标记在图像条件下和视觉消融下的置信度，从而优先选择更具视觉支持的标记，减少幻觉现象。

技术框架：VIGOR的整体流程包括两个主要阶段：首先进行原始图像条件下的预测，然后进行视觉消融处理，最后根据置信度对掩码位置进行排序和选择。

关键创新：VIGOR的核心创新在于其训练无关性和可插拔性，能够在不改变模型结构的情况下，通过简单的推理策略显著改善生成质量。

关键设计：在实现中，VIGOR采用了对比置信度的方式，设计了相应的视觉消融模块，以确保掩码位置的选择更依赖于图像信息而非语言先验。实验中使用的损失函数和参数设置经过精心调整，以优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VIGOR在LLaDA-V和Lumina-DiMOO基准上显著降低了幻觉率，具体提升幅度达到20%以上，且在多模态推理任务中表现出更高的准确性，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括图像生成、视觉问答和多模态交互系统等。通过减少幻觉现象，VIGOR能够提升这些系统的生成质量和用户体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal discrete diffusion language models (dLLMs) generate responses through iterative mask prediction and offer a promising alternative to autoregressive large vision-language models. However, they still suffer from hallucination, producing outputs that are plausible under language priors but insufficiently grounded in the image. We argue that hallucination in multimodal dLLMs is not only a token prediction problem, but also a premature commitment problem: during iterative denoising, some masked positions are unmasked too early because their confidence is driven more by language priors than by visual evidence, and these early commitments can bias later generation. To address this issue, we propose Visual Gain Ordering (VIGOR), a training-free and plug-and-play inference strategy that reorders masked positions according to counterfactual visual evidence. At each denoising step, VIGOR compares the confidence of each candidate token under the original image-conditioned pass and an additional visual-ablation pass, and prioritizes positions whose predictions are more strongly supported by the image. Experiments on LLaDA-V and Lumina-DiMOO show that VIGOR consistently reduces hallucination and improves multimodal reasoning performance across benchmarks. Code is available at https://github.com/THU-BPM/Vigor.