Fora: From Weight-Space to Function-Space Protection in Capability-Preserving Fine-Tuning
作者: Rui Zhou, Tianci Xie
分类: cs.LG
发布日期: 2026-06-30
🔗 代码/项目: GITHUB
💡 一句话要点
提出FORA以解决大语言模型能力保持问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 能力保持 微调 功能空间 激活子空间 大型语言模型 正交残差适应 参数高效适应
📋 核心要点
- 现有的全量微调方法在适应新任务时，可能会损害模型已有的能力，缺乏有效的保护机制。
- 本文提出的FORA方法通过功能空间保护，关注激活子空间而非权重矩阵的几何特性，从而更准确地保留模型能力。
- 在Qwen3-1.7B的多个实验设置中，FORA在能力保持上优于权重空间投影和标准正则化，且新任务的折衷较小。
📝 摘要（中文）
全量微调能够将大型语言模型适应新任务，但可能会侵蚀其已有能力。现有方法通过参数距离、重要性惩罚、输出匹配等代理手段进行保护，但未直接关注保留能力所依赖的激活方向。本文提出了一种基于功能空间的保护方法FORA（功能空间正交残差适应），通过无标签的校准输入，估计每层的输入-激活协方差的主方向，并构建右投影器。FORA在多个任务设置中表现出色，能够有效提升能力保持，且仅在新任务上有小幅度的折衷。
🔬 方法详解
问题定义：本文旨在解决全量微调过程中模型已有能力的侵蚀问题。现有方法主要依赖于权重的几何特性，未能有效识别保留能力所需的激活方向。
核心思路：FORA方法的核心在于通过功能空间保护来保留模型能力，强调激活子空间的重要性，而非单纯依赖权重的奇异几何。
技术框架：FORA的整体架构包括从无标签的校准输入中估计每层的输入-激活协方差的主方向，构建右投影器P_Q，并结合来自权重SVD的左投影器P_U进行更新。
关键创新：FORA的创新在于其功能空间保护机制，通过激活导向的投影而非权重导向的投影，显著提升了能力保持的效果。
关键设计：在参数设置上，FORA采用了高容量分支结构，限制对能力相关功能方向的读取，同时提供了一个窄的谱通道以实现受控的可塑性。
🖼️ 关键图片
📊 实验亮点
在Qwen3-1.7B的实验中，FORA在多个任务设置下表现优异，尤其是在能力保持方面，相较于权重空间投影和标准正则化，提升幅度显著，且在数学保留设置中仅有小幅的新任务折衷。
🎯 应用场景
FORA方法可广泛应用于大型语言模型的微调过程，尤其是在需要同时适应新任务和保持已有能力的场景中，如自然语言处理、对话系统和机器翻译等领域。其潜在价值在于提高模型的适应性和稳定性，减少因任务切换带来的性能损失。
📄 摘要（原文）
Full fine-tuning adapts large language models to new tasks but can erode capabilities they already possess. Existing remedies protect through proxies such as parameter distances, importance penalties, output matching, or dominant singular directions of the weights, but none directly asks which activation directions the preserved capability relies on. We argue that a capability is characterized more faithfully by the activation subspace it induces than by the singular geometry of the weight matrix, and develop function-space protection, instantiated as FORA (Function-space Orthogonal Residual Adaptation). From label-free calibration inputs, FORA estimates, per layer, the principal directions $Q$ of the input-activation covariance and forms a right projector $P_Q = I - QQ^T$. Paired with a left projector $P_U$ from the weight SVD, the update is $ΔW = P_U M P_Q + U_2 D_δ V_2^T$: a high-capacity branch structurally barred from reading capability-relevant function directions, plus a narrow spectral channel for controlled plasticity. The construction extends to parameter-efficient adaptation via $M \to (α/r) BA$. Across three settings on Qwen3-1.7B, including COGS and GSM8K learned while preserving translation and translation learned while preserving math, FORA consistently improves preservation over weight-space projection and standard regularization, with only a small new-task trade-off in the math-preservation setting. A controlled ablation isolating the projection source shows that the advantage comes not from projection itself, but from projecting onto capability-derived rather than weight-derived directions. Code is available at https://github.com/zrui239/FORA.