Attention-Spectrum Regularization for Replay-Free Continual Multimodal LLMs

📄 arXiv: 2606.23063v1 📥 PDF

作者: Chuangxin Zhao, Canran Xiao, Siyuan Ma, Mengyao Lyu, Yanbiao Ma, Jun Xia, Guiguang Ding, Yang Liu

分类: cs.CV, cs.AI

发布日期: 2026-06-22

🔗 代码/项目: GITHUB

💡 一句话要点

提出注意力谱正则化以解决持续多模态LLMs遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 持续学习 注意力机制 正则化方法 大型语言模型 视觉问答 模型适应性

📋 核心要点

  1. 现有的持续学习方法在适应新任务时，往往导致之前技能的遗忘，缺乏有效的控制机制。
  2. 本文提出的注意力谱正则化（ASR）通过保留跨模态注意力的技能条件结构，避免了重放数据的需求。
  3. 实验结果显示，ASR在VQA和多模态指令调优基准上表现优异，显著提高了性能并减少了遗忘。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在适应非平稳的视觉领域、问题类型和用户指令时，持续微调往往导致之前获得的多模态技能严重遗忘。现有的持续视觉-语言方法主要通过保存输出、重放数据或伪数据、正则化嵌入几何或分配任务特定参数来应对，但对内部跨模态注意力模式的控制有限。本文提出了注意力谱正则化（ASR），一种无重放的持续学习框架，旨在保留跨模态注意力的技能条件结构。ASR将跨注意力图视为二维信号，提取其尺度和方向特性，并仅存储技能级原型分布。实验结果表明，ASR在多个基准上显著提高了最终性能并减少了遗忘。

🔬 方法详解

问题定义：本文解决的是多模态大型语言模型在持续学习过程中遗忘已学技能的问题。现有方法在适应新任务时，往往依赖重放机制或伪数据生成，导致对内部跨模态注意力模式的控制不足。

核心思路：ASR通过将跨注意力图视为二维信号，提取其谱特性，存储技能级原型分布，从而避免重放历史数据，保持技能条件结构的稳定性。

技术框架：ASR的整体架构包括跨注意力图的提取、谱统计的计算和技能级原型的存储。在后期阶段，使用相位不变的谱正则化器来约束原型的有害漂移，同时允许实例级注意力适应新任务。

关键创新：ASR的主要创新在于通过谱统计来控制跨模态注意力的漂移，提供了一种轻量级的持续学习机制，与传统的重放和正则化方法相比，具有更好的性能和更低的计算开销。

关键设计：ASR设计了谱正则化器以约束原型漂移，并确保在空间平移和有界扰动下，傅里叶功率谱的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在VQA v2、VQACL、CLT-VQA、CoIN和UCIT等基准上，ASR显著提高了最终性能，相较于强基线方法（如重放、正则化和适配器），减少了遗忘，展示了其有效性和优越性。

🎯 应用场景

该研究的潜在应用场景包括智能助手、自动问答系统和多模态交互平台等领域。通过有效保留多模态技能，ASR能够提升系统的适应能力和用户体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Multimodal large language models (MLLMs) are increasingly required to adapt to non-stationary streams of visual domains, question types, and user instructions, yet continual fine-tuning often causes severe forgetting of previously acquired multimodal skills. Existing continual vision-language methods mainly preserve outputs, replay data or pseudo-data, regularize embedding geometry, or allocate task-specific parameters, but they provide limited control over how internal cross-modal attention patterns supporting old skills drift during adaptation. We propose Attention-Spectrum Regularization (ASR), a replay-free continual learning framework that preserves skill-conditioned structures of cross-modal attention. ASR treats cross-attention maps as two-dimensional signals, summarizes their scale and directional properties into compact spectral statistics, and stores only skill-wise prototype distributions instead of replaying past image-question pairs, generated pseudo-examples, or old-stage teacher snapshots. In later stages, a phase-invariant spectral regularizer constrains harmful drift of these prototypes while allowing instance-level attention to adapt to new tasks. We provide theoretical analysis showing that skill-conditioned spectral drift controls forgetting under a spectral sufficiency assumption, and that Fourier power spectra are stable to spatial translations and bounded perturbations. Experiments on continual VQA and multimodal instruction-tuning benchmarks, including VQA v2, VQACL, CLT-VQA, CoIN, and UCIT, show that ASR consistently improves final performance and reduces forgetting over strong replay-, regularization-, and adapter-based baselines. Preserving skill-level attention structure is an effective and lightweight mechanism for continual MLLMs. Code is available at https://github.com/Creative-zcx/attention-spectrum-replay