Entropy-Gated Dynamic Rectification for Object Hallucination in Large Vision-Language Models

📄 arXiv: 2611.04438v1 📥 PDF

作者: Riasad Alvi, Md. Asaduzzaman Shuvo, Md. Ahashan Habib, Md. Faiyaz Abdullah Sayeedi

分类: cs.CV

发布日期: 2026-11-03

备注: WACV 2027

🔗 代码/项目: GITHUB

💡 一句话要点

提出熵门控动态整流以解决大规模视觉-语言模型中的物体幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 物体幻觉 熵门控 动态整流 多模态生成 深度学习 模型优化

📋 核心要点

  1. 现有的大规模视觉-语言模型在处理缺失物体时表现不佳，固定的门控机制无法有效应对不同解码阶段的需求。
  2. 论文提出熵门控动态整流（EGDR），通过利用预测熵作为局部控制信号，动态调整干预阈值以优化模型输出。
  3. 在LLaVA-1.5-7B模型上，EGDR将静态门控的性能进一步提升，显著降低了错误率，同时保持了多模态能力的稳定性。

📝 摘要（中文）

大规模视觉-语言模型（LVLMs）常常会命名图像中缺失的物体。虽然潜在引导可以在一次模型前向推理中减少这种失败，但固定门控对早期和晚期解码步骤的处理标准相同。本文观察到，在自由生成过程中，预测熵变化显著，而承诺短答案的状态则占据狭窄且自信的区间。我们利用这一时间不匹配，提出熵门控动态整流（EGDR），在前一步的熵较高时降低干预阈值，而在熵较低时保持校准的操作点。实验结果表明，EGDR显著提升了模型性能，同时增加的延迟仅约2%。

🔬 方法详解

问题定义：本文旨在解决大规模视觉-语言模型在生成缺失物体时的物体幻觉问题。现有方法使用固定门控机制，无法灵活应对不同解码阶段的熵变化，导致性能下降。

核心思路：论文提出熵门控动态整流（EGDR），通过动态调整干预阈值，利用预测熵作为控制信号，以适应生成过程中的不确定性。这种设计能够在高熵状态下降低干预阈值，从而提高生成的准确性。

技术框架：EGDR的整体架构包括一个静态门控机制和一个动态调整模块。静态门控负责初步的生成控制，而动态调整模块则根据前一步的熵值实时调整干预阈值。

关键创新：EGDR的主要创新在于将熵作为动态控制信号，区别于传统的固定阈值方法。这种方法能够更好地适应生成过程中的变化，提高了模型的灵活性和准确性。

关键设计：EGDR在设计上不需要额外的模型前向推理，仅在现有模型基础上增加了约2%的延迟。关键参数设置包括熵的计算方式和干预阈值的动态调整策略。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，EGDR在LLaVA-1.5-7B模型上将静态门控的CHAIR CS/CI从53.00/15.30降低至29.00/13.60，干预率保持在58%。这一提升在LLaVA-NeXT-7B模型上也得到了验证，表明EGDR在不同模型和生成预算下均能有效提高性能。

🎯 应用场景

该研究的潜在应用场景包括图像生成、自动标注和多模态交互系统等领域。通过提高模型对缺失物体的识别能力，EGDR能够在实际应用中提升用户体验和系统的智能化水平，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) routinely name objects that are absent from the image. Latent steering can reduce this failure in one model forward pass, but a fixed gate treats early and late decoding steps by the same criterion. We observe that predictive entropy varies sharply within free-running generation, while states that commit to short answers occupy a narrow, confident band. We exploit this temporal mismatch by using uncertainty as a causally available, token-local control signal for an existing steering gate. We propose Entropy-Gated Dynamic Rectification (EGDR), which lowers the intervention threshold when entropy derived from the preceding step's already available logits is high and retains the calibrated operating point when it is low. On LLaVA-1.5-7B, the underlying static gate lowers CHAIR CS/CI from 53.00/15.30 to 32.00/14.30; replacing only its constant threshold with EGDR further lowers them to 29.00/13.60. At a matched 58% intervention rate, the corresponding static control obtains 30.50/14.00. The gain over the static gate holds on LLaVA-NeXT-7B and grows with the generation budget, while POPE scores and general multimodal capability remain effectively unchanged. EGDR requires no additional model forward pass and adds roughly 2% measured latency. Our code is available at https://github.com/alvi-uiu/EGDR.