MiCA Learns More Knowledge Than LoRA and Full Fine-Tuning

📄 arXiv: 2604.01694v1 📥 PDF

作者: Sten Rüdiger, Sebastian Raschka

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-04-02

💡 一句话要点

MiCA：一种参数高效的微调方法，通过适配次要成分提升知识获取

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 奇异值分解 知识获取 语言模型 领域自适应

📋 核心要点

  1. 现有参数高效微调方法（如LoRA）主要关注模型表示中的主要子空间，可能忽略了蕴含新知识的次要子空间。
  2. MiCA通过奇异值分解识别与最小奇异值相关的次要奇异向量，并将参数更新约束在这些方向上，从而实现更有效的知识集成。
  3. 实验表明，在知识获取方面，MiCA在优化超参数下可实现高达5.9倍的提升，且参数量仅为LoRA的6-60%。

📝 摘要（中文）

Minor Component Adaptation (MiCA) 是一种新颖的参数高效的大型语言模型微调方法，它专注于调整模型表示中未被充分利用的子空间。与传统的低秩适应 (LoRA) 等方法不同，后者针对主要子空间，MiCA 利用奇异值分解来识别与最小奇异值相关的次要奇异向量相关的子空间，并在微调期间将参数更新限制在这些方向上。在优化的训练超参数下，这种策略使知识获取能力提高了高达 5.9 倍，并且与 LoRA 相比，参数占用空间最小，仅为 6-60%。这些结果表明，将适应限制在次要奇异方向上，为将新知识集成到预训练语言模型中提供了一种更有效和稳定的机制。

🔬 方法详解

问题定义：现有参数高效微调方法，如LoRA，主要关注模型表示中占据主导地位的子空间。然而，模型中可能存在一些未被充分利用的次要子空间，这些子空间可能蕴含着学习新知识的关键信息。如何更有效地利用这些次要子空间，从而提升模型的知识获取能力，是本文要解决的问题。现有方法忽略了这些次要子空间，导致知识学习效率低下。

核心思路：MiCA的核心思路是，通过关注模型表示中与最小奇异值相关的次要奇异向量对应的子空间，来实现更有效的知识集成。作者认为，这些次要子空间可能包含了模型尚未学习或未充分学习的知识。通过将参数更新限制在这些次要方向上，可以引导模型学习新的知识，而不会过度干扰模型已有的知识。

技术框架：MiCA的技术框架主要包括以下几个步骤：1) 对预训练语言模型的参数矩阵进行奇异值分解（SVD）；2) 识别与最小奇异值相关的次要奇异向量；3) 在微调过程中，只更新与这些次要奇异向量相关的参数，而保持其他参数不变。这个过程可以看作是在模型参数空间中选择性地更新一部分参数，从而实现参数高效的微调。

关键创新：MiCA最重要的技术创新点在于，它改变了传统参数高效微调方法关注主要子空间的思路，转而关注次要子空间。这种思路的转变使得模型能够更有效地学习新的知识，而不会过度干扰模型已有的知识。与LoRA等方法相比，MiCA能够以更小的参数量实现更高的知识获取能力。

关键设计：MiCA的关键设计在于如何选择合适的次要奇异向量。作者通过实验发现，选择与最小奇异值相关的奇异向量能够获得最佳的性能。此外，作者还对训练超参数进行了优化，例如学习率、batch size等，以进一步提升MiCA的性能。具体的损失函数与原始模型的微调保持一致，没有引入额外的损失函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在知识获取方面，MiCA在优化超参数下可实现高达5.9倍的提升，并且与LoRA相比，参数占用空间最小，仅为 6-60%。这些结果表明，MiCA能够以更小的参数量实现更高的知识获取能力，是一种更有效的参数高效微调方法。

🎯 应用场景

MiCA可应用于各种需要快速将新知识集成到预训练语言模型的场景，例如领域自适应、持续学习和知识图谱补全。其参数高效的特性使其特别适用于资源受限的环境，例如移动设备或边缘计算平台。未来，MiCA有望成为一种通用的参数高效微调方法，广泛应用于各种自然语言处理任务。

📄 摘要（原文）

Minor Component Adaptation (MiCA) is a novel parameter-efficient fine-tuning method for large language models that focuses on adapting underutilized subspaces of model representations. Unlike conventional methods such as Low-Rank Adaptation (LoRA), which target dominant subspaces, MiCA leverages Singular Value Decomposition to identify subspaces related to minor singular vectors associated with the least significant singular values and constrains the update of parameters during fine-tuning to those directions. This strategy leads to up to 5.9x improvement in knowledge acquisition under optimized training hyperparameters and a minimal parameter footprint of 6-60% compared to LoRA. These results suggest that constraining adaptation to minor singular directions provides a more efficient and stable mechanism for integrating new knowledge into pre-trained language models.