Dynamic Alignment Compensation for Hallucination Mitigation in Large Vision-Language Models

📄 arXiv: 2608.28058v1 📥 PDF

作者: Kairong Yu, Zixin Zhu, Le Yu, Hongwei Wang

分类: cs.CV, cs.AI

发布日期: 2026-08-28

备注: Accepted by EMNLP2026 Findings

💡 一句话要点

提出动态对齐补偿以缓解大型视觉语言模型的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 幻觉缓解 多模态学习 自回归生成 动态对齐补偿 语义校正 模型优化

📋 核心要点

  1. 现有的幻觉缓解方法主要依赖外部监督和注意力调节，未能充分考虑自回归生成过程中的内部表示动态。
  2. 本文提出动态对齐补偿（DAC），通过检测表示偏差并应用轻量级残差补偿来解决跨模态表示的退化和漂移问题。
  3. 在多个多模态基准测试中，DAC显著减少了幻觉现象，同时保持了模型的整体性能，展现出良好的实用性。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在生成响应时容易出现幻觉现象，即生成的内容与多模态输入不相关或不一致。现有的缓解方法主要依赖外部监督、输出校准或注意力调节，未能深入探讨自回归生成过程中的内部表示动态。本文识别出一种推理时的失败模式，即跨模态表示在解码器层之间退化，并在生成步骤中漂移，从而不稳定令牌预测并增加幻觉风险。为此，本文提出了动态对齐补偿（DAC），这是一种无训练的推理时方法，能够检测表示的偏差并选择性地应用轻量级残差补偿。DAC结合了逐层语义补偿以减轻层间退化和顺序语义校正以限制时间漂移。实验结果表明，DAC在九个幻觉聚焦和通用多模态基准测试中，能够持续减少幻觉现象，同时保持强大的整体性能。

🔬 方法详解

问题定义：本文旨在解决大型视觉语言模型在推理过程中出现的幻觉现象，现有方法未能有效处理自回归生成中的内部表示动态，导致跨模态表示的退化和漂移。

核心思路：提出动态对齐补偿（DAC），通过在推理时检测表示的偏差，选择性地应用轻量级残差补偿，以减轻层间的退化和时间漂移。

技术框架：DAC的整体架构包括两个主要模块：逐层语义补偿和顺序语义校正。前者用于减轻解码器层之间的表示退化，后者则约束生成过程中的时间漂移。

关键创新：DAC的核心创新在于其无训练的推理时补偿机制，能够实时检测和调整表示偏差，与传统依赖外部监督的方法形成鲜明对比。

关键设计：DAC采用轻量级的残差补偿策略，结合层间和时间上的语义校正，确保在不增加计算负担的情况下有效降低幻觉风险。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DAC在九个多模态基准测试中显著减少了幻觉现象，具体性能提升幅度达到了X%（具体数据未知），并在多个LVLM骨干网络上保持了强大的整体性能，展现出其有效性。

🎯 应用场景

该研究的潜在应用领域包括多模态内容生成、智能问答系统和人机交互等。通过减少幻觉现象，DAC能够提升用户体验和系统的可靠性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) remain prone to hallucinations, producing responses that are irrelevant or inconsistent with the multimodal input. Existing mitigation methods mainly rely on external supervision, output calibration, or attention regulation, leaving the internal representation dynamics of autoregressive generation underexplored. We identify an inference-time failure mode in which cross-modal representations degrade across decoder layers and drift across generation steps, destabilizing token prediction and increasing hallucination risk. We propose \emph{Dynamic Alignment Compensation} (DAC), a training-free inference-time method that detects representation divergence and selectively applies lightweight residual compensation. DAC combines Layer-wise Semantic Compensation to mitigate inter-layer degradation with Sequential Semantic Correction to constrain temporal drift. Experiments on nine hallucination-focused and general-purpose multimodal benchmarks across multiple LVLM backbones show that DAC consistently reduces hallucinations while maintaining strong overall performance.