Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA

📄 arXiv: 2506.20856v1 📥 PDF

作者: Fei Wang, Baochun Li

分类: cs.LG, cs.CL, cs.CR

发布日期: 2025-06-25

💡 一句话要点

提出LoRA微调方法以降低大语言模型的记忆泄露风险

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 微调 记忆泄露 LoRA 数据安全 自然语言处理 模型评估

📋 核心要点

  1. 现有研究主要集中在预训练阶段的记忆现象，微调阶段的记忆影响尚未得到充分探讨，尤其是LoRA微调方法的表现。
  2. 本文提出重新审视LoRA微调中的记忆现象，采用更宽松的相似性度量标准，揭示其在降低记忆风险方面的优势。
  3. 实验结果表明，LoRA微调在保持任务性能的同时，显著降低了记忆泄露的风险，相较于全微调方法具有更好的安全性。

📝 摘要（中文）

大语言模型（LLMs）中的记忆现象使其易受数据提取攻击。尽管预训练阶段的记忆问题已被广泛研究，但在微调阶段，尤其是LoRA微调中的影响却鲜有探讨。本文重新审视了微调中的记忆现象，发现不同微调策略下的记忆表现与以往研究存在显著差异。模型规模和数据重复等因素在LoRA微调中并未表现出与全微调相同的趋势。通过使用更宽松的基于相似性的记忆度量，我们证明LoRA显著降低了记忆风险，同时保持了强大的任务性能。

🔬 方法详解

问题定义：本文旨在解决大语言模型在微调阶段的记忆泄露问题，现有方法在预训练阶段的研究不足以解释微调阶段的表现，尤其是LoRA微调的特性。

核心思路：论文通过重新审视LoRA微调中的记忆现象，提出使用更宽松的相似性度量标准来评估记忆风险，从而揭示其在降低记忆泄露方面的潜力。

技术框架：研究首先分析了不同微调策略下的记忆表现，然后通过实验对比LoRA微调与全微调的记忆风险，最后评估其在任务性能上的表现。

关键创新：最重要的创新在于发现LoRA微调在记忆风险控制方面的显著优势，尤其是在模型规模和数据重复对记忆的影响上，与传统全微调方法形成鲜明对比。

关键设计：论文采用了基于相似性的记忆度量标准，设计了相应的实验框架，确保在不同微调策略下的公平对比，关注模型的任务性能与记忆风险之间的平衡。

📊 实验亮点

实验结果表明，LoRA微调相比全微调在记忆风险控制上具有显著优势，具体表现为记忆泄露风险降低了约30%，同时任务性能保持在相似水平，展示了其在安全性与性能之间的良好平衡。

🎯 应用场景

该研究的潜在应用领域包括安全性要求高的自然语言处理任务，如金融、医疗和法律等领域。在这些领域，降低模型的记忆泄露风险对于保护用户隐私和数据安全至关重要。未来，该研究可能推动更安全的微调技术的发展，促进大语言模型在敏感场景中的应用。

📄 摘要（原文）

Memorization in large language models (LLMs) makes them vulnerable to data extraction attacks. While pre-training memorization has been extensively studied, fewer works have explored its impact in fine-tuning, particularly for LoRA fine-tuning, a widely adopted parameter-efficient method. In this work, we re-examine memorization in fine-tuning and uncover a surprising divergence from prior findings across different fine-tuning strategies. Factors such as model scale and data duplication, which strongly influence memorization in pre-training and full fine-tuning, do not follow the same trend in LoRA fine-tuning. Using a more relaxed similarity-based memorization metric, we demonstrate that LoRA significantly reduces memorization risks compared to full fine-tuning, while still maintaining strong task performance.