MLLMs Get It Right, Then Get It Wrong: Tracing and Correcting Late-Layer Textual Bias
作者: Xingming Li, Ao Cheng, Qiyao Sun, Xixiang He, Xuanyu Ji, Runke Huang, Qingyong Hu
分类: cs.CV
发布日期: 2026-06-16
备注: Accepted at IJCAI 2026. 16 pages, 10 figures
💡 一句话要点
提出CALRD方法以解决多模态大语言模型的文本偏见问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 文本偏见 视觉信息 冲突检测 预测恢复 无训练方法 模型干预
📋 核心要点
- 现有的多模态大语言模型在视觉与文本信息矛盾时，常常优先选择文本，导致视觉信息未能有效利用。
- 本文提出CALRD方法，通过检测被压制的视觉预测并恢复其输出，解决了晚层文本覆盖的问题。
- 实验结果显示，该方法在五种不同的MLLM架构上，冲突基准测试中提升了最高9.4%的绝对性能，同时保持了模型的标准表现。
📝 摘要（中文）
当视觉信息与文本信息相矛盾时，多模态大语言模型（MLLMs）往往偏向文本，即使图像提供了明确的证据。本文揭示了一个意外发现：模型在中间层时常做出正确的视觉预测，但在最终输出时却偏向文本，形成所谓的“晚层文本覆盖”。我们发现，预测变化的方向能够揭示其正确性：85%的失败预测转向文本，而89%的成功预测转向视觉。基于此，我们提出了一种无训练的方法CALRD（冲突感知层参考解码），能够在推理时恢复被覆盖的预测。实验表明，该方法在五种不同架构的MLLMs上，在冲突基准测试中实现了最高9.4%的绝对提升，同时保持了标准性能。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在视觉信息与文本信息矛盾时，偏向文本的偏见问题。现有方法未能有效利用中间层的视觉信息，导致最终输出不准确。
核心思路：论文的核心思路是通过识别和恢复被覆盖的视觉预测，来纠正模型在最终输出时的偏见。该方法不需要额外的训练，直接在推理阶段进行干预。
技术框架：CALRD方法的整体架构包括冲突检测模块和预测恢复模块。首先，检测模型在中间层的视觉预测是否被压制，然后恢复这些预测以生成最终输出。
关键创新：最重要的技术创新点在于提出了“晚层文本覆盖”这一概念，并通过方向性特征来判断预测的正确性，从而实现有效的干预。这与现有方法的根本区别在于，后者通常依赖于训练过程中的调整，而CALRD则在推理时进行干预。
关键设计：在设计中，关键参数包括冲突检测的阈值设置，以及如何有效地恢复被覆盖的视觉预测。损失函数的设计旨在最大化视觉信息的保留，同时确保模型的标准性能不受影响。具体的网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CALRD方法在五种不同架构的多模态大语言模型上，在冲突基准测试中实现了最高9.4%的绝对性能提升。同时，该方法在保持标准性能的前提下，有效恢复了被覆盖的视觉预测，展示了其强大的实用性和有效性。
🎯 应用场景
该研究的潜在应用领域包括图像识别、自动驾驶、医疗影像分析等需要视觉与文本信息结合的场景。通过改善模型的决策能力，能够提升这些应用的准确性和可靠性，进而推动相关技术的发展与应用。未来，CALRD方法有望在更多多模态任务中得到应用，促进更智能的系统设计。
📄 摘要（原文）
When vision contradicts text, multimodal large language models (MLLMs) consistently favor text, even when images provide clear evidence otherwise. This bias poses risks for applications requiring visual grounding, yet its cause remains unclear. In this paper, we uncover a surprising finding: models often get it right initially, forming correct vision-based predictions in their intermediate layers, before changing their minds and favoring text in the final output. We call this "late-layer textual override". The visual information is encoded, it simply does not survive to the output. More intriguingly, we find that how predictions change reveals whether they're correct: 85% of failures shift toward text, while 89% of successes shift toward vision. This directional signature enables a simple but powerful intervention: when we detect a confident visual prediction being suppressed, we restore it. We propose CALRD (Conflict-Aware Layer Reference Decoding), a training-free method that recovers overridden predictions at inference time. Experiments across five MLLMs of varying architectures demonstrate up to 9.4% absolute improvements on conflict benchmarks while largely preserving standard performance, without training or external knowledge. It recovers what the model already knew but failed to preserve.