AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention

📄 arXiv: 2608.11758v1 📥 PDF

作者: Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

分类: cs.CL

发布日期: 2026-08-12

🔗 代码/项目: GITHUB

💡 一句话要点

提出AWARe以解决多模态大语言模型的灾难性遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 灾难性遗忘 微调方法 激活加权 知识保留 自适应学习 深度学习

📋 核心要点

  1. 现有的多模态大语言模型在微调过程中容易出现灾难性遗忘，导致新任务学习影响到已有知识。
  2. AWARe方法通过动态控制参数更新，基于激活模式为参数分配重要性评分，从而选择性冻结重要参数。
  3. 实验结果显示，AWARe在保持模型上游能力的同时，相较于现有方法在下游任务上表现更优。

📝 摘要（中文）

多模态大语言模型（MLLMs）因其大规模的多模态预训练展现出强大的泛化和推理能力。然而，在下游任务上微调这些模型时，常常会导致灾难性遗忘，即新学习的任务特定知识会削弱先前获得的能力。为了解决这一挑战，本文提出了基于激活加权的自适应保留方法（AWARe），通过动态控制参数更新来减轻灾难性遗忘。AWARe根据激活模式为参数分配重要性评分，选择性地冻结那些对保留先前能力至关重要的参数，同时允许不太重要的参数适应新任务。AWARe不修改模型架构，确保与现有推理引擎的兼容性。大量实验表明，AWARe在保持上游能力的同时，较现有方法实现了更优的下游性能。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在下游任务微调时出现的灾难性遗忘问题。现有方法在更新参数时，容易覆盖对先前知识至关重要的参数，导致模型性能下降。

核心思路：AWARe的核心思路是根据激活模式动态控制参数更新，通过为参数分配基于激活的权重，选择性地冻结重要参数，以保留已有知识。这样设计的目的是在不改变模型架构的前提下，最大限度地减少灾难性遗忘。

技术框架：AWARe的整体架构包括两个主要模块：激活模式分析模块和参数更新控制模块。激活模式分析模块负责监测模型在不同任务下的激活情况，而参数更新控制模块则根据分析结果调整参数的更新策略。

关键创新：AWARe的最大创新在于其激活加权机制，通过动态评估参数的重要性，选择性地冻结关键参数，从而有效减轻灾难性遗忘。这一方法与传统的微调方法本质上不同，后者通常是对所有参数进行统一更新。

关键设计：在参数更新过程中，AWARe使用了基于激活的重要性评分来决定哪些参数需要冻结，哪些可以更新。此外，损失函数的设计也考虑了保留先前知识的重要性，确保模型在适应新任务时不会过度损失旧知识。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，AWARe在多个下游任务上均优于现有的微调方法，具体表现为在某些任务上性能提升达到了10%以上，显著提高了模型的适应性和知识保留能力。这些结果验证了AWARe在解决灾难性遗忘问题上的有效性。

🎯 应用场景

AWARe方法在多模态大语言模型的微调过程中具有广泛的应用潜力，尤其适用于需要频繁更新知识的领域，如自然语言处理、计算机视觉和机器人技术。通过有效减轻灾难性遗忘，AWARe可以提高模型在实际应用中的稳定性和可靠性，推动智能系统的持续学习和适应能力。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) exhibit strong generalization and reasoning abilities due to large-scale multimodal pre-training. However, fine-tuning these models on downstream tasks often leads to catastrophic forgetting, where newly learned task-specific knowledge degrades previously acquired capabilities. This issue arises because gradient updates for new tasks overwrite parameters critical to prior knowledge, limiting the practical deployment of MLLMs. To address this challenge, we propose Activation-Weighted Adaptive REtention (AWARe), a fine-tuning method that mitigates catastrophic forgetting by dynamically controlling parameter updates based on activation patterns. AWARe assigns activation-based importance scores to parameters, selectively freezing those essential for preserving prior capabilities while allowing less important parameters to adapt to new tasks. Importantly, AWARe operates without modifying model architectures, ensuring compatibility with existing inference engines. Extensive experiments demonstrate that AWARe effectively preserves upstream capabilities while achieving superior downstream performance compared to existing methods. Code is available at https://github.com/kaln27/AWARe.