ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs
作者: Zhiyuan Yao, Zheren Fu, Zhixiao Zheng, Jiajun Li, Yi Tu, Zhendong Mao
分类: cs.CV, cs.AI, cs.CL, cs.MM
发布日期: 2026-06-30
备注: Accepted by ECCV 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出ADAPT以解决多模态大语言模型的幻觉问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 幻觉现象 注意力机制 交叉注意力 生成模型 偏好调优 视觉引导
📋 核心要点
- 现有的多模态大语言模型在生成内容时常常出现幻觉现象，导致生成内容与输入图像不一致。
- 本文提出ADAPT框架，通过直接干预文本与图像交叉注意力动态，来缓解幻觉现象。
- 实验结果显示，ADAPT在多个基准测试中减少了40%-60%的幻觉率，且保持了模型的多模态能力。
📝 摘要（中文）
多模态大语言模型（MLLMs）在生成内容时常常出现幻觉现象，即生成的内容与提供的图像不一致。本文识别了幻觉的内部特征：生成过程中文本与图像之间的交叉注意力逐渐退化，导致注意力不集中或偏向特定内容。现有的缓解策略主要是结果驱动，未能明确针对这一失败模式。为了解决这一问题，本文提出了ADAPT（注意力动态对齐与偏好调优），这是一个直接干预文本与图像交叉注意力动态的框架。实验表明，ADAPT的每个组件均有助于减少幻觉现象，整体框架在多个幻觉基准测试中取得了新的最佳结果，幻觉率降低了40%-60%，同时保持了多模态能力。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型生成内容时的幻觉问题，现有方法未能有效针对文本与图像交叉注意力的退化现象。
核心思路：ADAPT框架通过对交叉注意力动态的直接干预，结合偏好调优机制，旨在减少生成过程中的注意力漂移。
技术框架：ADAPT包含三个主要模块：交叉注意力视觉锚点、注意力监督推理机制和视觉注意力引导的DPO，协同工作以稳定生成过程。
关键创新：ADAPT的创新在于其关注模型内部的交叉注意力行为，通过动态调整注意力来减少幻觉现象，与现有的结果驱动方法本质上不同。
关键设计：在设计中，交叉注意力视觉锚点通过早期解码进行精细化，注意力监督机制实时检测并纠正注意力漂移，视觉注意力引导的DPO则对生成偏好进行对齐。具体的损失函数和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ADAPT在多个幻觉基准测试中实现了新的最佳结果，幻觉率降低了40%-60%。与主流模型相比，ADAPT在保持多模态能力的同时显著提升了生成内容的准确性和一致性。
🎯 应用场景
该研究的潜在应用领域包括图像生成、图像描述和多模态交互系统等。通过减少幻觉现象，ADAPT能够提高多模态模型在实际应用中的可靠性和用户体验，未来可能在智能助手、内容创作等领域产生深远影响。
📄 摘要（原文）
Multimodal Large Language Models (MLLMs) are critically hampered by hallucination, generating content inconsistent with the provided image. In this paper, we identify an internal signature of hallucination: progressive degradation of text-to-image cross-attention during generation, leading to specific failure patterns like unfocused or biased attention. Existing mitigation strategies are largely outcome-driven and do not explicitly target this failure mode. To address this problem, we propose ADAPT (Attention Dynamics Alignment with Preference Tuning), an attention-based framework that intervenes directly on text-to-image cross-attention dynamics. We propose ADAPT with three key contributions: a cross-attention visual anchor refined from early decoding to provide stable spatial grounding, an attention-supervised inference mechanism that detects and corrects attention drift online, and a Visual Attention Guidance DPO that aligns preferences toward visually grounded responses. Experiments show that each component of ADAPT contributes to hallucination reduction, and the full framework achieves new best results across multiple hallucination benchmarks, reducing hallucination rates by 40%-60% across mainstream backbones while preserving general multimodal capabilities. Our work provides an attention-based perspective on mitigating hallucinations by exploring the model's internal text-to-image cross-attention behaviors. Code is available at https://github.com/yao-ustc/ADAPT