Mechanistic Insights into LoRA: Layer Sparsity for Adaptive Fine-Tuning via Path Patching

📄 arXiv: 2610.34756v1 📥 PDF

作者: Fei Zuo, Yizhou Huang, Kezhi Wang

分类: cs.LG, cs.CL

发布日期: 2026-10-26

备注: Accepted at NeurIPS 2026 (Main Track). 31 pages, including appendices and the paper checklist

💡 一句话要点

提出Adaptive-LoRA以解决大语言模型自适应微调的效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低秩适应 自适应微调 机制可解释性 层稀疏性 大语言模型

📋 核心要点

  1. 现有的全层LoRA方法在变换器中均匀应用适应，未考虑组件的异质性贡献，导致效率低下。
  2. 提出Adaptive-LoRA，通过冻结基础模型并进行零消融，自动识别任务特定层，实现高效的层选择。
  3. 在Qwen2.5-1.5B模型上进行的实验表明，Adaptive-LoRA在11个推理任务中优于全层LoRA，适配参数减少3.5倍。

📝 摘要（中文）

低秩适应（LoRA）已成为大语言模型参数高效微调的主流方法。标准的全层LoRA在变换器中应用适应，尽管其组件的贡献存在异质性。本文通过系统的机制可解释性分析，揭示了LoRA对模型内部的影响，发现其适应效果高度不均匀，且层间和组件间存在显著稀疏性。重要层的任务依赖性强，任务间重叠有限。基于这些洞察，提出了Adaptive-LoRA，一种通过冻结基础模型零消融的校准驱动方法，能够自动识别任务特定层，实现高效的层选择。大量实验表明，Adaptive-LoRA在11个推理任务上表现优于全层LoRA，仅使用30%的层，适配参数减少了3.5倍。此研究在机制可解释性与实际效率之间架起了桥梁，提供了基础洞察和自适应微调的原则性方法。

🔬 方法详解

问题定义：本文旨在解决现有全层LoRA方法在大语言模型微调中的效率低下问题，尤其是未能考虑不同层对任务的异质性贡献。

核心思路：提出Adaptive-LoRA，通过分析任务特定层的贡献，采用冻结基础模型的零消融方法，自动识别出对特定任务重要的层，从而实现高效的层选择。

技术框架：整体框架包括三个主要模块：1) 机制可解释性分析，识别重要层；2) 冻结基础模型并进行零消融，确定任务特定层；3) 适应性微调，仅使用选定层进行训练。

关键创新：最重要的创新在于通过机制可解释性分析揭示了层间的稀疏性和任务依赖性，提出了一种无需全面搜索的高效层选择方法。

关键设计：在参数设置上，Adaptive-LoRA仅使用30%的层进行微调，显著减少了适配参数，同时保持了模型性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，Adaptive-LoRA在11个不同推理任务上表现优于全层LoRA，使用的层数仅为30%，适配参数减少了3.5倍，显著提高了模型的训练效率和性能。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能问答等任务，能够有效提升大语言模型在特定任务上的微调效率，降低计算资源消耗，具有重要的实际价值和未来影响。

📄 摘要（原文）

Low-Rank Adaptation (LoRA) has emerged as the dominant paradigm for parameter-efficient fine-tuning of large language models. Standard all-layer LoRA applies adaptation throughout the transformer, despite heterogeneous contributions from its components. In this work, we conduct a systematic mechanistic interpretability analysis to understand how LoRA affects model internals. We observe that LoRA's adaptation effect is highly non-uniform, with significant component-wise and layer-wise sparsity. Most critically, we find that important layers are highly task-dependent, with limited overlap across tasks. Motivated by these insights, we propose Adaptive-LoRA, a calibration-driven method that automatically identifies task-specific layers via frozen-base zero-ablation, enabling efficient layer selection without exhaustive search. Extensive experiments on Qwen2.5-1.5B across 11 diverse reasoning tasks demonstrate that Adaptive-LoRA outperforms full-layer LoRA while using only 30% of layers, achieving a $3.5\times$ reduction in adapter parameters. This work bridges mechanistic interpretability and practical efficiency, providing both fundamental insights and a principled approach for adaptive fine-tuning.