LASER: A Corrective Lens for LVLMs via Visual Attention Preservation and Sink Suppression

📄 arXiv: 2607.01707 📥 PDF

作者: Bowen Yuan, Zijian Wang, Yadan Luo, Shijie Wang, Zi Huang

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出LASER以解决长视角解码中的视觉遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 视觉遗忘 注意力机制 深度学习 多模态学习 推理能力 奖励机制

📋 核心要点

  1. 现有大型视觉语言模型在长时间解码中面临视觉遗忘问题，注意力逐渐偏离重要视觉信息，导致推理性能下降。
  2. 论文提出LASER框架，通过引入视觉定位奖励和沉没抑制奖励，调节视觉注意力轨迹，保持对重要视觉信息的关注。
  3. 在多个基准数据集上的实验结果显示，LASER显著提升了模型在视觉推理任务中的表现，验证了其有效性。

📝 摘要（中文）

大型视觉语言模型（LVLMs）展现出强大的推理能力，但在长时间解码过程中会遭遇视觉遗忘，导致注意力逐渐偏离视觉证据。现有方法主要将此问题视为后期注意力衰减，或通过启发式提醒和后处理注意力提升来缓解。通过系统的实证分析，我们发现视觉遗忘导致性能下降的主要原因在于早期注意力衰减干扰了证据获取，以及对任务无关的视觉沉没标记的注意力集中。基于这些洞察，我们提出了LASER，一个后训练框架，调节推理过程中的视觉注意力轨迹和视觉标记的注意力分布。LASER引入了两个互补奖励：视觉定位奖励和沉没抑制奖励，前者鼓励模型在解码过程中保持对语义显著视觉标记的注意，后者则惩罚对视觉沉没标记的过度注意。大量实验表明，LASER在八个基准数据集上持续超越强基线，验证了关注注意力的训练作为解决视觉遗忘的有效方法。

🔬 方法详解

问题定义：论文要解决的问题是大型视觉语言模型在长时间解码过程中出现的视觉遗忘现象，现有方法未能有效应对早期注意力衰减和对无关视觉信息的注意力集中。

核心思路：LASER框架通过引入两个奖励机制，旨在保持模型对语义显著视觉标记的关注，同时抑制对视觉沉没标记的过度注意，从而改善推理过程中的视觉信息获取。

技术框架：LASER的整体架构包括两个主要模块：视觉定位奖励模块和沉没抑制奖励模块。前者通过奖励机制引导模型关注重要视觉信息，后者则通过惩罚机制减少对无关信息的注意力集中。

关键创新：LASER的创新点在于同时引入视觉定位奖励和沉没抑制奖励，这与现有方法单一关注注意力衰减或后处理提升的策略有本质区别，提供了更全面的解决方案。

关键设计：在设计上，LASER采用了特定的损失函数来平衡两个奖励机制的影响，并通过调整超参数来优化模型的注意力分布，确保在推理过程中有效地保持对重要视觉信息的关注。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在八个基准数据集上的实验结果表明，LASER框架在视觉推理任务中显著优于现有强基线，具体提升幅度达到X%（具体数据需根据实验结果填入），验证了其在解决视觉遗忘问题上的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等需要长时间视觉理解的场景。LASER框架能够提升模型在复杂环境中的推理能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large vision-language models (LVLMs) exhibit strong reasoning ability but suffer from visual forgetting during long-horizon decoding, where attention progressively drifts away from visual evidence. Existing methods largely treat this issue as a late-stage attention decay problem or attempt to mitigate it through heuristic reminders or post-hoc attention lifting. Through systematic empirical analysis, we find that performance degradation under visual forgetting is largely driven by two overlooked factors: early-stage attention decay disrupts evidence acquisition, and attention concentration on a subset of task-irrelevant visual sink tokens. Motivated by these insights, we propose LASER, a post-training framework that regulates both the visual attention trajectory and intra-visual token attention distribution during reasoning. Technically, LASER introduces two complementary rewards: a Visual Grounding Reward, which encourages the model to maintain attention on semantically salient visual tokens throughout decoding, and a Sink Suppression Reward, which penalizes excessive attention concentration on visual sink tokens. Together, these rewards preserve early-stage grounding while preventing attention collapse onto uninformative regions. Extensive experiments on eight benchmark datasets demonstrate that LASER consistently outperforms strong baselines, validating attention-aware training as an effective remedy for visual forgetting.