How Much is Too Much? Exploring LoRA Rank Trade-offs for Retaining Knowledge and Domain Robustness

📄 arXiv: 2512.15634v1 📥 PDF

作者: Darshita Rathore, Vineet Kumar, Chetna Bansal, Anindya Moitra

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-12-17

备注: Accepted at AACL IJCNLP 2025

💡 一句话要点

探索LoRA秩对知识保留和领域泛化能力的权衡，优化下游问答任务

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 LoRA 低秩适应 知识保留 领域泛化 问答系统 秩扫描

📋 核心要点

  1. 现有研究对LoRA等PEFT方法中秩配置对下游任务泛化能力的影响研究不足。
  2. 通过秩扫描，量化SFT和PEFT在推理和召回任务中的性能权衡，并分析泛化行为。
  3. 实验表明，LoRA在特定秩值下，推理任务性能可与SFT媲美甚至超越，并分析了内部表示的变化。

📝 摘要（中文）

大型语言模型越来越多地通过微调来适应下游任务。全监督微调（SFT）和参数高效微调（PEFT）方法，如低秩适应（LoRA），是两种主要方法。虽然PEFT方法因其计算效率而被广泛使用，但其配置（例如，秩）对下游问答任务和泛化的影响仍未得到充分研究。本文对多个推理和召回数据集进行了全面的评估，通过秩扫描来量化SFT和PEFT之间的权衡。我们还比较了PEFT和SFT模型在域内和域外适应中的准确性，突出了不同的泛化行为和特定于任务的遗忘。我们证明了LoRA在特定秩值下，尤其是在推理任务上，能够实现与SFT相当甚至更优越的性能。此外，我们通过谱特征和分层注意力结构分析了内部表示，从而深入了解了表示漂移和注意力模式的结构变化。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在下游问答任务中，使用参数高效微调（PEFT）方法如LoRA时，如何选择合适的秩（rank）以平衡计算效率、知识保留和领域泛化能力的问题。现有方法在秩配置的选择上缺乏系统性的研究，导致难以确定最优的秩值，从而影响模型在不同任务和领域上的性能。此外，现有研究对PEFT方法在域外泛化能力方面的表现也缺乏深入的分析。

核心思路：论文的核心思路是通过对LoRA的秩进行全面的扫描式实验，系统地评估不同秩值对模型在推理、召回以及域内、域外泛化能力的影响。通过分析实验结果，揭示SFT和PEFT方法在不同秩值下的性能权衡，并探究内部表示的变化，从而为选择合适的LoRA秩提供指导。

技术框架：论文的技术框架主要包括以下几个步骤：1) 选择多个推理和召回数据集，涵盖域内和域外场景；2) 使用LoRA方法对LLM进行微调，并对秩进行扫描，即尝试不同的秩值；3) 评估不同秩值下LoRA模型的性能，包括准确率、泛化能力等；4) 分析模型的内部表示，例如谱特征和分层注意力结构，以了解表示漂移和注意力模式的变化。

关键创新：论文的关键创新在于对LoRA的秩进行了系统性的研究，量化了秩对知识保留和领域泛化能力的影响。通过实验，论文揭示了LoRA在特定秩值下可以达到与SFT相当甚至更优越的性能，尤其是在推理任务上。此外，论文还通过分析内部表示，为理解LoRA的工作机制提供了新的视角。

关键设计：论文的关键设计包括：1) 选择了多个具有代表性的推理和召回数据集，以评估模型的性能；2) 采用了秩扫描的方法，系统地评估了不同秩值的影响；3) 使用了谱特征和分层注意力结构等技术，分析了模型的内部表示；4) 对比了LoRA和SFT在不同任务和领域上的性能，从而揭示了它们的优缺点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LoRA在特定秩值下，尤其是在推理任务上，能够实现与SFT相当甚至更优越的性能。通过秩扫描，论文量化了SFT和PEFT在推理和召回任务中的性能权衡。此外，论文还分析了模型的内部表示，为理解LoRA的工作机制提供了新的视角。

🎯 应用场景

该研究成果可应用于各种需要对大型语言模型进行微调的场景，例如智能客服、知识问答、机器翻译等。通过选择合适的LoRA秩，可以在保证计算效率的同时，最大程度地保留模型的知识和泛化能力，从而提高下游任务的性能。此外，该研究还可以为开发更高效的参数高效微调方法提供指导。

📄 摘要（原文）

Large language models are increasingly adapted to downstream tasks through fine-tuning. Full supervised fine-tuning (SFT) and parameter-efficient fine-tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), are two dominant approaches. While PEFT methods are widely used for their computational efficiency, the implications of their configurations (e.g., rank) remain under-explored in downstream Q&A tasks and generalisation. In this work, we perform a comprehensive evaluation across multiple reasoning and recall datasets, conducting a rank sweep to quantify the trade-off between SFT and PEFT. We also compare the accuracy of PEFT and SFT models across in-domain and out-of-domain adaptation, highlighting distinct generalisation behaviour and task-specific forgetting. We demonstrate that LoRA achieves competitive and in some cases superior performance compared to SFT, particularly on reasoning tasks at specific rank values. Additionally, we analyze the internal representations via spectral features and layer-wise attention structures, offering insights into representational drift and structural changes in attention patterns.