GRASP: Reinforcing Language Model Anonymizers with Group Relative Policy Optimization

📄 arXiv: 2608.06526v1 📥 PDF

作者: Sajjad Ghiasvand, Nader Sehatbakhsh

分类: cs.CL

发布日期: 2026-08-06

💡 一句话要点

提出GRASP以强化语言模型匿名化技术

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 隐私保护 对抗性匿名化 策略优化 自我生成奖励

📋 核心要点

  1. 现有对抗性匿名化方法依赖强大的模型进行推理，导致私密文本暴露，无法有效保护用户隐私。
  2. GRASP通过群体相对策略优化，设计了一个小型模型作为匿名化器、对手和效用评估者，能够自我生成奖励以优化隐私与效用的平衡。
  3. 在Llama-3.1-8B上训练后，GRASP在多个评估中超越了DPO蒸馏基线，并在去除私密信息方面表现优异。

📝 摘要（中文）

大型语言模型能够从普通文本中推断出敏感个人属性，如年龄、位置和职业，这使得日常写作成为隐私风险。对抗性匿名化通过重写文本来防御这一风险，但现有方法需要在推理时使用强大的模型，导致私密文本暴露给第三方。本文提出GRASP（Group-Relative Anonymization via Self-refinement Policy-optimization），通过群体相对策略优化在线强化本地匿名化器。该方法在Llama-3.1-8B上训练，显著改善了隐私与效用的权衡，并在多个独立的LLM评估中表现出色。与前沿模型如Gemini 2.5 Flash和Claude的对抗性匿名化相比，GRASP在去除私密信息方面表现更佳，同时在设备上运行成本仅为GPT-4o教师模型的约1%。

🔬 方法详解

问题定义：本文旨在解决现有对抗性匿名化方法在推理时需要强大模型的问题，这导致私密文本暴露给第三方，无法有效保护用户隐私。

核心思路：GRASP的核心思路是通过群体相对策略优化在线强化本地匿名化器，设计一个小型模型同时充当匿名化器、对手和效用评估者，以自我生成奖励来优化隐私与效用的平衡。

技术框架：GRASP的整体架构包括三个主要模块：匿名化器、对手和效用评估者。模型通过自我生成的奖励进行训练，确保在隐藏敏感属性的同时保留文本的意义。

关键创新：GRASP的主要创新在于其群体相对策略优化方法，能够直接优化隐私与效用的目标，而不是仅仅模仿教师模型的选择，这与现有方法有本质区别。

关键设计：在训练过程中，GRASP使用了自生成的奖励机制，设计了防止奖励黑客的策略，并在Llama-3.1-8B上进行训练，确保模型在隐私保护和文本意义保留之间取得良好平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GRASP在多个独立的LLM评估中表现出色，相比DPO蒸馏基线显著改善了隐私与效用的权衡。在与Gemini 2.5 Flash和Claude等前沿模型的对抗性匿名化比较中，GRASP在去除私密信息方面表现更佳，且运行成本仅为GPT-4o教师模型的约1%。

🎯 应用场景

GRASP的研究成果在多个领域具有潜在应用价值，尤其是在需要保护用户隐私的文本处理场景中，如社交媒体、在线评论和医疗记录等。通过有效的匿名化技术，GRASP能够帮助企业和个人在分享信息时降低隐私风险，提升数据安全性。未来，该技术可能在智能助手和自动化内容生成等领域发挥更大作用。

📄 摘要（原文）

Large language models can infer sensitive personal attributes, such as age, location, and occupation, from ordinary text, turning everyday writing into a privacy risk. Adversarial anonymization defends against this by rewriting a text with a capable language model that also plays the attacker, but it needs a powerful model at inference time and thus sends private text to a third party, the very exposure anonymization should prevent. Recent work distills this behavior into a small on-device model using supervised fine-tuning and direct preference optimization (DPO), but DPO only imitates the teacher's offline choices and never directly optimizes the privacy--utility objective we care about. We introduce \textbf{GRASP} (\textbf{G}roup-\textbf{R}elative \textbf{A}nonymization via \textbf{S}elf-refinement \textbf{P}olicy-optimization), which reinforces the local anonymizer online with Group Relative Policy Optimization. A single small model acts as anonymizer, adversary, and utility judge, trained against a self-generated reward that hides attributes while preserving meaning, with a design that guards against reward hacking. Trained on Llama-3.1-8B, \ours{} improves the privacy--utility trade-off over the DPO-distilled baseline, consistently across three independent LLM judges. Against adversarial anonymization driven by frontier models such as Gemini~2.5~Flash and Claude, it achieves a comparable or better overall trade-off while removing substantially more private information, and it runs entirely on-device at roughly $1\%$ of the GPT-4o teacher's cost.