From Weights to Features: SAE-Guided Activation Regularization for LLM Continual Learning

📄 arXiv: 2606.26629v1 📥 PDF

作者: Evan Ning, Wei Xue, Dong Lou, Yike Guo

分类: cs.LG, cs.CL

发布日期: 2026-06-25

备注: 21 pages, 4 figures, 6 tables

💡 一句话要点

提出SAE引导的激活正则化以解决LLM持续学习中的灾难性遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 大型语言模型 稀疏自编码器 激活正则化 灾难性遗忘 权重空间 特征掩码

📋 核心要点

  1. 现有的权重空间正则化方法在大型语言模型上表现不佳，无法有效保护知识，导致灾难性遗忘。
  2. 本文提出通过稀疏自编码器（SAE）在激活空间进行正则化，构建单义特征字典以平衡模型的稳定性和可塑性。
  3. 在TRACE和MedCL基准测试中，该方法在不引入任务特定组件的情况下，超越了传统方法，表现出更强的效果。

📝 摘要（中文）

权重空间正则化方法如弹性权重巩固（EWC）是解决持续学习中灾难性遗忘的标准方法。然而，这些方法在大型语言模型上表现不佳，部分原因在于EWC的权重重要性估计过于粗糙，无法有效保护知识。本文提出在模型的激活空间进行正则化，利用预训练的稀疏自编码器（SAE）作为单义特征字典。我们推导出一种新的损失函数，明确平衡稳定性和可塑性，并展示EWC在单侧权重空间惩罚设置下是一个特例。与基于重放的方法不同，我们的方法在构建掩码后不需要先前任务的数据，当前任务数据用于计算紧凑的SAE特征掩码，并仅保留该掩码进行后续训练。由于特征空间的维度显著低于参数空间，所提方法在内存效率上更具优势。在TRACE和MedCL持续学习基准上，该方法在不引入任务特定架构组件的情况下取得了最佳结果，超越了传统的权重空间正则化方法如EWC。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在持续学习中面临的灾难性遗忘问题，现有的EWC等权重空间正则化方法无法有效保护模型知识，导致性能下降。

核心思路：通过在激活空间进行正则化，利用预训练的稀疏自编码器（SAE）作为单义特征字典，明确区分需要保护的知识，进而提高模型的稳定性和可塑性。

技术框架：整体方法包括三个主要阶段：首先，使用当前任务数据计算SAE特征掩码；其次，构建新的损失函数以平衡稳定性和可塑性；最后，仅保留SAE特征掩码进行后续训练，无需存储先前任务的数据。

关键创新：最重要的创新在于将正则化从权重空间转移到激活空间，利用SAE特征字典实现单义性表示，显著提高了模型对知识的保护能力。

关键设计：设计了新的损失函数，明确了稳定性和可塑性的权衡，并通过SAE特征掩码降低了内存消耗，提升了训练效率。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在TRACE和MedCL持续学习基准上，所提方法在不引入任务特定架构组件的情况下，取得了最佳结果，超越了传统的权重空间正则化方法EWC，展现出更强的性能和更高的内存效率。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，需要持续学习能力的场景。通过提高大型语言模型的知识保护能力，能够更好地适应动态变化的任务环境，提升用户体验和系统性能。

📄 摘要（原文）

Weight-space regularization methods such as Elastic Weight Consolidation (EWC) are the standard approach to catastrophic forgetting in continual learning. However, those methods tend to underperform when applied to large language models. We argue that such underperformance can be partly explained by the ``polysemantic'' nature of large language models: per-weight importance estimates utilized by EWC-style regularization are too coarse and cannot isolate the knowledge that needs protection. In this paper, we propose regularizing instead in the model's activation space, using pretrained Sparse Autoencoders (SAEs) as a monosemantic feature dictionary. From the perspective of constrained optimization, we derive a new loss function that uses the SAE feature dictionary to explicitly balance stability and plasticity, and show that EWC is a special case in the one-sided weight-space penalty setting. Unlike replay-based methods that store or revisit examples from earlier tasks, our method requires no previous-task data after mask construction: current-task data is used to compute a compact SAE feature mask, and only this mask is retained for later training. Further, since the feature space has significantly lower dimensionality than the parameter space, the proposed method is more memory efficient. On the TRACE and MedCL continual learning benchmarks, the method achieves the strongest result among approaches without introducing task-specific architectural components, also surpassing traditional weight-space regularization methods like EWC. Beyond performance comparisons, we provide empirical evidence for the polysemanticity thesis: task-relevant representations are linearly separable in the SAE feature basis but indistinguishable from chance in the weight basis, and weight-space protection is nearly non-selective at the concept level.