Unifying and Beyond the Theory of Pervasive Capability Degradation in LLM Post-training SFT from Feature Interference

📄 arXiv: 2611.05003v1 📥 PDF

作者: Hang Chen, Jiaying Zhu, Wenya Wang

分类: cs.LG

发布日期: 2026-11-03

备注: 20 pages, a very long paper :)

💡 一句话要点

提出AEGIS损失以解决大语言模型后训练中的能力退化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 能力退化 监督微调 特征干扰 AEGIS损失 几何理论 模型优化

📋 核心要点

  1. 核心问题：现有方法未能有效解决大语言模型在微调过程中出现的能力退化现象，缺乏理论基础。
  2. 方法要点：提出AEGIS损失，通过直接约束激活边际的漂移，解耦干扰抑制与任务适应。
  3. 实验或效果：AEGIS在14个微调任务上超越了所有代表性方法，同时保持较低的计算成本。

📝 摘要（中文）

普遍能力退化（PCD）指的是在对大型语言模型（LLM）进行监督微调（SFT）时，模型在适应目标任务的过程中，往往会侵蚀其在预训练阶段获得的通用能力。现有解释将PCD归因于宏观分布偏移，缺乏微观可操作性，导致现有的缓解方法缺乏完整的理论基础。本文首先基于特征干扰提出了PCD的几何理论，揭示了窄域SFT数据如何干扰预训练期间形成的几乎正交特征结构，从而影响输出的决策超平面。我们证明了单热监督下的交叉熵无法单独解决PCD，并提出了AEGIS损失，直接约束激活边际的漂移。实验表明，AEGIS在多个模型和任务上均优于现有方法，且计算成本仅为标准SFT的1.3倍。

🔬 方法详解

问题定义：本文旨在解决在对大型语言模型进行监督微调时出现的普遍能力退化（PCD）问题。现有方法主要将PCD归因于宏观分布偏移，缺乏对微观特征干扰的深入理解，导致缓解效果有限。

核心思路：论文提出了一种基于特征干扰的几何理论，认为窄域SFT数据会干扰预训练期间形成的几乎正交特征结构，进而影响模型的决策能力。AEGIS损失通过直接约束激活边际的漂移，旨在有效抑制这种干扰。

技术框架：整体架构包括特征干扰的几何分析、AEGIS损失的设计与实现，以及在多个模型和任务上的验证。主要模块包括特征提取、损失计算和模型优化。

关键创新：AEGIS损失是本文的核心创新，区别于传统的交叉熵损失，它能够有效地解耦干扰抑制与任务适应，从而更好地解决PCD问题。

关键设计：AEGIS损失通过约束激活边际的漂移，涉及到的关键参数包括竞争标记方向的选择和损失函数的具体形式，确保在不同任务中均能有效应用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AEGIS在3个模型家族和14个微调任务中均超越了所有代表性方法，提升幅度显著，且计算成本仅为标准微调的1.3倍，展现出良好的通用性和可扩展性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等任务，能够帮助提升大语言模型在特定任务上的表现，同时保持其通用能力。未来，AEGIS损失的设计理念可能会影响其他领域的模型训练策略，推动更高效的模型微调方法的发展。

📄 摘要（原文）

Pervasive Capability Degradation (PCD) refers to the phenomenon in which supervised fine-tuning (SFT), while adapting a large language model (LLM) to a target task, often erodes the general capabilities acquired during pre-training. Prevailing explanations attribute PCD to macroscopic distribution shift and therefore lack microscopic manipulability, leaving existing mitigation methods without a complete theoretical foundation. In this paper, we first develop a bottom-up geometric theory of PCD grounded in feature interference under superposition: narrow-domain SFT data disrupt the almost-orthogonal feature structure formed during pre-training, and the resulting interference drives activations across decision hyperplanes in the output Laguerre-Voronoi geometry, flipping predictions on general tasks. This theory unifies existing methods into six paradigms and reveals both the source of their efficacy and their theoretical limits. We then prove that cross-entropy under one-hot supervision cannot resolve PCD on its own, and accordingly propose the AEGIS loss, which directly constrains the drift of activation margins along all competing token directions, thereby decoupling interference suppression from task adaptation. Across 3 model families and 14 SFT tasks, AEGIS outperforms representative methods of every paradigm on target tasks and pervasive capabilities simultaneously, at only about 1.3 times the computational cost of standard SFT. Its generality, scalability, and mechanistic interpretability offer a new perspective on fully resolving PCD.