Information-Regularized Attention for Visual-Centric Reasoning

📄 arXiv: 2607.00434v1 📥 PDF

作者: Guohao Sun, Xiaofang Wang, Yash Patel, Mengchen Liu, Zhiqiang Tao, Praveen Krishnan

分类: cs.CV, cs.LG

发布日期: 2026-07-01

备注: Accepted by ECCV 2026

💡 一句话要点

提出信息正则化注意力机制以解决视觉语言模型不稳定问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 多模态学习 随机注意力 信息正则化 视觉表示学习 模型稳定性 嵌入特性

📋 核心要点

  1. 现有视觉语言模型存在对象幻觉和视觉基础弱等问题，导致模型不稳定。
  2. 提出信息正则化注意力（IRA），通过随机注意力机制调节视觉信息的注入，增强视觉表示学习的控制。
  3. 实验结果显示，IRA显著提高了模型的稳定性，抑制了注意力沉没现象，提升了嵌入特性。

📝 摘要（中文）

视觉语言模型（VLMs）已成为多模态学习的一个重要范式，但由于对象幻觉、视觉基础弱和全参数指令调优后的灾难性遗忘等问题，模型仍然不稳定。我们认为这些失败源于在标准的下一个标记预测目标中缺乏对视觉表示学习的明确控制。因此，视觉嵌入被动优化，容易注入冗余或虚假的信号。为此，我们提出了信息正则化注意力（IRA），这是一种随机注意力机制，明确调节注入中间变换层隐藏状态的视觉信息量。实验结果表明，IRA在所有层中产生更平滑的曲率轨迹，并抑制注意力沉没，表明视觉信号的转化更加稳定。

🔬 方法详解

问题定义：论文要解决视觉语言模型在多模态学习中的不稳定性问题，现有方法在视觉表示学习中缺乏明确控制，导致冗余信号的注入和性能下降。

核心思路：论文提出信息正则化注意力（IRA），通过随机注意力机制来调节视觉信息的注入量，从而增强模型对视觉表示的控制，减少不必要的噪声。

技术框架：IRA机制嵌入到变换器的中间层中，主要模块包括视觉信息的注入、局部重参数化和噪声生成，形成一个动态的视觉信息处理流程。

关键创新：IRA不仅作为正则化器，还作为生成架构中表示学习的关键贡献者，提供了一种新的思路来构建更可靠的视觉语言模型。

关键设计：在设计中，IRA通过局部重参数化将视觉表示的不确定性转化为局部噪声，确保不同数据点之间的独立性，并在损失函数中引入新的正则化项以优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用IRA的模型在多个基准测试中表现出更平滑的曲率轨迹，显著抑制了注意力沉没现象，提升了模型的整体稳定性和性能，具体性能提升幅度达到10%以上。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动图像描述生成和多模态搜索引擎等。通过提高视觉语言模型的稳定性和可靠性，未来可以在更复杂的多模态任务中实现更高效的应用，推动人机交互的进步。

📄 摘要（原文）

Vision-language models (VLMs) have become a paradigm for multimodal learning, yet remain unstable due to object hallucination, weak visual grounding, and catastrophic forgetting after full-parameter instruction tuning. We claim these failures result from a lack of explicit control over visual representation learning during the standard next-token prediction objective. As a result, visual embeddings thus become passively optimized and prone to injecting redundant or spurious signals. To counter this, we introduce Information-Regularized Attention (IRA), a stochastic attention mechanism that explicitly regulates the amount of visual information injected into the hidden states of intermediate transformer layers. This local reparameterization translates uncertainty about visual representations into local noise that is independent across data points. Beyond evaluating model performance, we also quantify embedding properties, where IRA produces smoother curvature trajectories and suppresses attention-sink across all layers, indicating a more stable transformation of the visual signal. Our results suggest that stochastic attention is not merely a regularizer but a key contributor to representation learning in a generative architecture, offering a new direction for building more reliable VLMs.