P2Skill: Privacy Preserving Skill Distillation for Cloud-Local LLM Inference Systems

📄 arXiv: 2608.14094v1 📥 PDF

作者: Myunghoon Ryu, Geunpyo Park, Sungjoon Lee, XinYu Piao, Jong-Kook Kim

分类: cs.CR, cs.AI

发布日期: 2026-08-14

💡 一句话要点

提出P2Skill以解决云本地LLM推理系统中的隐私保护问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 隐私保护 技能蒸馏 云计算 小型语言模型 推理系统 个人身份信息 机器学习

📋 核心要点

  1. 现有隐私保护方法在处理个人身份信息时，可能导致上下文语义的扭曲或需要额外的训练，影响推理效果。
  2. P2Skill通过提示蒸馏方法，使局部小型语言模型能够自主执行多种任务，避免了对PII的直接处理。
  3. 在四个领域的基准测试中，P2Skill的隐私保护推理质量显著提升，分别达到1.69倍和3.66倍的效果提升。

📝 摘要（中文）

云本地LLM推理系统能够利用大型云模型的推理能力，同时保护用户在个人设备上的敏感数据。为了防止外部数据泄露，云端请求必须排除个人身份信息（PII）。现有的隐私保护方法依赖于提示扰动、实体屏蔽或模型微调，但这些方法可能会扭曲上下文语义或需要额外的训练。本文提出了P2Skill，这是一种基于提示的技能蒸馏方法，局部小型语言模型（SLM）通过遵循技能提示自主执行分解、PII感知路由、释义和重构。技能通过云LLM的执行失败进行迭代优化，使得局部SLM能够超越记忆的PII模式进行泛化，因此P2Skill不需要隐私特定的微调或学习辅助检测器。在四个领域的基准测试中，P2Skill的隐私保护推理质量比之前的基线提高了1.69倍和3.66倍。

🔬 方法详解

问题定义：本文旨在解决云本地LLM推理系统中对个人身份信息（PII）的隐私保护问题。现有方法如提示扰动和模型微调存在语义扭曲和训练负担等痛点。

核心思路：P2Skill通过提示蒸馏方法，使局部小型语言模型（SLM）能够在不直接处理PII的情况下，执行复杂的推理任务。该方法设计旨在提高隐私保护的同时，保持推理质量。

技术框架：P2Skill的整体架构包括四个主要模块：技能分解、PII感知路由、释义和重构。局部SLM根据技能提示进行任务执行，并通过云LLM反馈进行迭代优化。

关键创新：P2Skill的主要创新在于其无需隐私特定的微调或学习辅助检测器，能够通过云LLM的反馈来不断优化局部SLM的推理能力，这与现有方法形成了显著区别。

关键设计：在设计上，P2Skill采用了特定的损失函数来平衡隐私保护与推理质量，同时在网络结构上优化了SLM的能力，使其能够更好地处理复杂的推理任务。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，P2Skill在四个领域的基准测试中表现出色，隐私保护推理质量分别比之前的基线提高了1.69倍和3.66倍，显示出其在隐私保护与推理效果之间的优越平衡。

🎯 应用场景

P2Skill的研究成果在多个领域具有广泛的应用潜力，尤其是在需要保护用户隐私的智能助手、医疗数据分析和金融服务等场景中。通过有效的隐私保护机制，P2Skill能够提升用户信任度，并推动相关技术的普及与应用。

📄 摘要（原文）

Cloud-local LLM inference systems have the potential to use the reasoning capability of large cloud models while protecting sensitive user data on personal devices. Cloud-bound requests must exclude personally identifiable information (PII) to prevent external data leakage. Existing privacy-preserving methods rely on prompt perturbation, entity masking, or model fine-tuning, but these approaches may distort contextual semantics or require additional training. This paper proposes P2Skill, a prompt-based skill distillation method in which a local small language model (SLM) autonomously performs decomposition, PII-aware routing, paraphrasing, and reconstruction by following the skill prompts. Skills are iteratively refined from execution failures by a cloud LLM, enabling the local SLM to generalize beyond memorized PII patterns, and therefore P2Skill requires no privacy-specific fine-tuning or learned auxiliary detectors. Evaluation on a four-domain benchmark shows that P2Skill achieves $1.69\times$ and $3.66\times$ higher privacy-preserved inference quality than previous baselines.