Impact of Fine-Tuning Methods on Memorization in Large Language Models

📄 arXiv: 2507.00258v1 📥 PDF

作者: Jie Hou, Chuxiong Wu, Lannan Luo, Qiang Zeng

分类: cs.CL, cs.AI

发布日期: 2025-06-30

💡 一句话要点

提出细化调优方法以解决大语言模型的记忆泄露问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 微调方法 隐私保护 记忆泄露 成员推断攻击 基于提示的微调 自然语言处理 模型安全

📋 核心要点

  1. 现有的基于参数的微调方法在隐私保护方面存在较大风险，容易导致记忆泄露。
  2. 论文通过分类流行的微调方法，提出基于提示的微调作为一种更安全的替代方案。
  3. 实验结果显示，基于提示的微调在保持性能的同时，显著降低了对成员推断攻击的脆弱性。

📝 摘要（中文）

随着预训练大型语言模型（LLMs）能力的不断提升，“预训练与微调”范式日益成为主流，导致多种微调方法的发展。然而，微调过程中因记忆导致的隐私风险却相对较少受到关注。为了解决这一问题，本文对流行的微调方法进行了分类，并通过成员推断攻击（MIA）的视角评估其对记忆的影响。研究结果表明，与基于参数的微调相比，基于提示的微调在性能上具有竞争力，同时对MIA的脆弱性较低。此外，基于提示的方法在模型规模变化时仍能保持低记忆。这些发现表明，基于参数的微调更容易泄露私人信息，而基于提示的微调则是更具隐私保护的选择。

🔬 方法详解

问题定义：本文旨在解决在大型语言模型微调过程中，由于记忆导致的隐私泄露问题。现有的基于参数的微调方法在这方面存在较大风险，容易被成员推断攻击利用。

核心思路：论文提出了一种基于提示的微调方法，旨在通过改变微调策略来降低模型对训练数据的记忆，从而增强隐私保护。该方法通过优化提示设计，减少模型对特定输入的依赖。

技术框架：整体架构包括数据准备、微调策略选择和性能评估三个主要模块。在数据准备阶段，研究者对不同微调方法进行分类；在微调策略选择阶段，重点比较基于参数和基于提示的微调方法；最后，通过成员推断攻击评估模型的隐私保护能力。

关键创新：最重要的创新点在于提出了基于提示的微调方法，该方法在性能上与传统的基于参数的微调相当，但在隐私保护方面表现更佳。这一方法的本质区别在于其设计理念侧重于减少模型对训练数据的记忆。

关键设计：在设计过程中，论文关注了提示的构建方式、微调的超参数设置以及损失函数的选择，确保在不同规模的模型中都能有效降低记忆泄露风险。

📊 实验亮点

实验结果表明，基于提示的微调方法在对抗成员推断攻击时表现出更低的脆弱性，相较于基于参数的微调，能够有效降低记忆泄露风险。具体而言，基于提示的方法在不同模型规模下均保持了较低的记忆水平，显示出其优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和个性化推荐等。通过采用基于提示的微调方法，可以在提升模型性能的同时，增强用户数据的隐私保护，具有重要的实际价值和未来影响。

📄 摘要（原文）

As the capabilities of pre-trained large language models (LLMs) continue to advance, the "pre-train and fine-tune" paradigm has become increasingly mainstream, leading to the development of various fine-tuning methods. However, the privacy risks arising from memorization during fine-tuning have received relatively little attention. To address this gap, we categorize popular fine-tuning approaches and assess their impact on memorization through the lens of membership inference attacks (MIAs). Our results show that, compared to parameter-based fine-tuning, prompt-based fine-tuning achieves competitive performance while exhibiting lower vulnerability to MIAs. Furthermore, prompt-based methods maintain low memorization regardless of model scale. These findings suggest that parameter-based fine-tuning is more prone to leaking private information, whereas prompt-based fine-tuning serves as a more privacy-preserving option.