Balancing Privacy, Utility, and Safety in LLM Alignment through Preference Optimization

📄 arXiv: 2608.30141v1 📥 PDF

作者: Dishu Yang, Jingjing Liu, Jize Li

分类: cs.CR, cs.LG

发布日期: 2026-08-31

备注: 6 pages, accepted for presentation at PRAI 2026

💡 一句话要点

提出P3M方法以平衡LLM对隐私、效用与安全的优化

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 偏好优化 大型语言模型 数据组合 成员推断攻击 模型对齐 自然语言处理

📋 核心要点

  1. 现有的偏好优化方法在隐私保护方面存在不足，可能导致隐私相关信息的记忆泄露。
  2. 本文提出的隐私压力偏好混合（P3M）方法，通过调整隐私偏好数据的比例，旨在降低模型的隐私泄露风险。
  3. 实验结果显示，P3M在多个模型设置下有效降低了记忆信号，并且相较于基线，成员推断攻击的性能显著提升。

📝 摘要（中文）

偏好优化广泛用于将大型语言模型与人类偏好对齐，但偏好数据的组成可能影响隐私相关的记忆。本文研究了在不修改目标或引入正式隐私机制的情况下，向直接偏好优化（DPO）中添加合成隐私偏好对是否与较低的记忆信号相关。我们提出了隐私压力偏好混合（P3M），一种数据组合协议，通过固定有用性和无害性偏好数据，变化隐私偏好数据的量。实验结果表明，隐私偏好混合在多个模型设置下与较低的记忆信号相关，并且相较于基线，混合源2B评估中的成员推断攻击性能也有所降低。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在对齐人类偏好时可能导致的隐私泄露问题，现有方法未能有效控制隐私相关的记忆。

核心思路：提出隐私压力偏好混合（P3M）方法，通过调整隐私偏好数据的比例，保持有用性和无害性偏好数据不变，从而优化隐私与效用之间的平衡。

技术框架：P3M方法的整体架构包括数据组合协议，分为隐私偏好数据的不同混合比例（如0.5、1.0、2.0）和基线对比实验，使用Gemma模型进行评估。

关键创新：P3M的创新在于其轻量级的经验协议设计，能够在不引入复杂隐私机制的情况下，探索隐私、效用和安全之间的权衡。

关键设计：在实验中，使用了不同的隐私偏好数据比例，并对比了4位量化的Gemma 2 2B-IT模型的表现，关注模型在隐私保护下的有用性和无害性偏好的准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，隐私偏好混合在隐私感知的2B配置中，平均接收者操作特征曲线（AUROC）值为0.596至0.629，平均精确率-召回率曲线（AUPRC）值为0.541至0.575，相较于基线的0.804和0.790，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能助手和对话系统等，能够在确保用户隐私的同时，提升模型的实用性和安全性。未来，P3M方法可能为隐私保护技术的发展提供新的思路和实践依据。

📄 摘要（原文）

Preference optimization is widely used to align large language models with human preferences, but preference-data composition may also influence privacy-relevant memorization. We examine whether adding synthetic privacy-preference pairs to Direct Preference Optimization (DPO) is associated with lower canary-based memorization signals without modifying the objective or introducing a formal privacy mechanism. We propose Privacy-Pressure Preference Mixing (P3M), a data-composition protocol that varies the amount of privacy-preference data while keeping helpfulness and harmlessness preference data fixed. We evaluate a non-privacy Baseline and privacy-mixing ratios of 0.5, 1.0, and 2.0 using Gemma 3 270M-IT across five random seeds and validate the same four conditions using 4-bit-quantized Gemma 2 2B-IT across three seeds. Overall, under the tested conditions, privacy-preference mixing is associated with lower mean canary suffix log-likelihood proxy values across both model settings and lower aggregate membership-inference attack performance relative to the Baseline in the mixed-source 2B evaluation. Specifically, across the privacy-aware 2B configurations, the mean area under the receiver operating characteristic curve (AUROC) ranges from 0.596 to 0.629, and the mean area under the precision-recall curve (AUPRC) ranges from 0.541 to 0.575, compared with 0.804 and 0.790, respectively, for the Baseline. However, the reduction in membership distinguishability does not hold uniformly across data sources. Moreover, the relationship between the privacy ratio and harmlessness preference accuracy varies by model setting, whereas helpfulness preference accuracy remains broadly stable. These findings suggest that P3M should be viewed as a lightweight empirical protocol for examining privacy-utility-safety trade-offs rather than as a formal privacy guarantee or a defense against extraction attacks.