Text Capability Loss in Vision-Language Adaptation: An Attention-Sink Diagnosis

📄 arXiv: 2609.00746v1 📥 PDF

作者: Minsik Choi, Geewook Kim, Young Geun Kim

分类: cs.LG

发布日期: 2026-09-01

备注: Accepted to EMNLP 2026. 29 pages, 6 figures, 15 tables. Code and data: https://github.com/minsik-choi126/sink-strength. * Equal contribution. † Corresponding author

💡 一句话要点

提出Sink Strength以诊断视觉语言适应中的文本能力损失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 文本能力 注意力机制 多模态学习 能力衰退 诊断工具 QK-RMSNorm 模型微调

📋 核心要点

  1. 核心问题：微调预训练LLM为VLM时，模型的文本能力在特定任务中显著下降，尤其是需要严格输出的任务。
  2. 方法要点：提出Sink Strength作为一种快速诊断工具，能够在不进行VLM训练的情况下预测文本能力的衰退。
  3. 实验或效果：Sink Strength在多个VLM-LLM对比中表现出一致的衰退跟踪能力，且现有的保护方法未能有效恢复能力。

📝 摘要（中文）

对预训练的大型语言模型（LLM）进行视觉语言模型（VLM）微调可能会削弱其文本能力，尤其是在需要遵循严格输出规则的任务中。本文追踪到这一问题的根源在于注意力沉没现象，VLM微调扰动了早期的注意力沉没位置。为此，作者提出了Sink Strength这一指标，可以在不进行任何VLM训练的情况下，快速预测微调后的能力衰退。实验表明，Sink Strength能够有效跟踪六对VLM-LLM的相对衰退情况，并指出现有的QK-RMSNorm注入方法未能有效保护模型能力。

🔬 方法详解

问题定义：本文旨在解决在视觉语言适应过程中，预训练大型语言模型（LLM）文本能力的损失问题。现有方法在微调过程中未能有效保护模型在特定任务上的表现，尤其是那些需要严格遵循输出规则的任务。

核心思路：论文提出了Sink Strength这一指标，旨在通过评估模型的注意力沉没位置来预测文本能力的衰退。该方法的设计基于对注意力机制的深入理解，认为早期的注意力沉没位置对模型性能至关重要。

技术框架：整体架构包括对预训练LLM的评估，计算Sink Strength，并通过该指标预测微调后的能力衰退。主要模块包括注意力机制分析和Sink Strength计算。

关键创新：Sink Strength作为一种快速、有效的诊断工具，能够在不进行VLM训练的情况下，准确预测模型能力的衰退。这一创新与现有方法的本质区别在于其关注点从训练过程转向了模型内部的注意力机制。

关键设计：在Sink Strength的计算中，使用了基于注意力权重的评估方法，确保其在短时间内（几秒钟）在单个GPU上完成。此外，研究还探讨了QK-RMSNorm注入的效果，发现其未能有效保护模型能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，Sink Strength能够一致地跟踪六对VLM-LLM的相对能力衰退，且在多个格式敏感任务中表现优异。与现有的保护方法相比，Sink Strength提供了更为有效的能力评估，强调了在进行VLM训练前进行能力筛查的重要性。

🎯 应用场景

该研究的潜在应用领域包括多模态学习、自然语言处理和计算机视觉等领域，尤其是在需要高精度文本生成和理解的任务中。通过有效诊断和保护模型能力，未来可以提升多模态模型在实际应用中的表现，减少微调过程中的能力损失。

📄 摘要（原文）

Fine-tuning a pretrained LLM into a vision-language model (VLM) can erode the backbone's text capability, with the damage concentrated on tasks that require following exact output rules, such as instruction following, chain-of-thought reasoning graded on a strictly parsed final answer, and similar evaluations with strict graders. We trace this gap to attention-sink corruption: VL fine-tuning perturbs the early sink position that anchors a large fraction of attention probability, and how well the base LLM preserves its sink tracks how much of the affected capability survives adaptation. Building on this view, we introduce Sink Strength, a single scalar computed on the base LLM in a few seconds on a single GPU that predicts post-VL degradation without any VL training. It consistently tracks relative degradation across the six VLM-LLM pairs and multiple format-sensitive tasks. Complementing this diagnostic, we find that post-pretraining QK-RMSNorm injection fails to reproduce the protection of native QK-RMSNorm, while several off-the-shelf weight-merging settings fail to recover the lost capability after VL training. These negative results underscore the value of screening backbones with Sink Strength before VL training and narrow the intervention space toward head-selective training-time protection.