EmojiPrompt: Generative Prompt Obfuscation for Privacy-Preserving Communication with Cloud-based LLMs

📄 arXiv: 2402.05868v3 📥 PDF

作者: Sam Lin, Wenyue Hua, Zhenting Wang, Mingyu Jin, Lizhou Fan, Yongfeng Zhang

分类: cs.CL, cs.AI, cs.CR, cs.IR, cs.LG

发布日期: 2024-02-08 (更新: 2025-03-20)

备注: Accepted to the 2025 Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL 2025)

🔗 代码/项目: GITHUB

💡 一句话要点

提出EmojiPrompt以解决云端LLM隐私保护问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 云端LLM 数据模糊化 生成性转换 用户信任

📋 核心要点

  1. 现有的云端LLM服务存在用户隐私泄露的风险，用户对数据安全的担忧使得他们不敢放心使用这些服务。
  2. EmojiPrompt通过生成性转换，将私密数据模糊化，结合语言和非语言元素，确保在使用云端LLM时保护用户隐私。
  3. 实验结果显示，EmojiPrompt在8个数据集上有效模糊用户数据，同时在性能上与未模糊版本相比保持或提升了效果。

📝 摘要（中文）

云端大型语言模型（LLMs）如ChatGPT在日常操作中变得越来越重要，但也带来了隐私问题。研究表明，云端LLM的越狱风险和服务提供商对用户数据的访问使用户在使用这些服务时缺乏信心。为了解决这些问题，本文提出了一种简单而有效的范式——EmojiPrompt，通过在提交给云端LLM之前，对提示中的私密数据进行语言和非语言元素的生成性转换，从而实现数据的模糊处理。我们在8个不同领域的数据集上评估了EmojiPrompt的性能，并提出了模拟推理攻击以评估其隐私保护能力。结果表明，EmojiPrompt能够有效模糊用户的私密数据，同时在性能上保持或甚至提升了未模糊版本的效果。

🔬 方法详解

问题定义：本文旨在解决云端大型语言模型在用户隐私保护方面的不足，现有方法面临用户数据被泄露的风险，导致用户对使用这些服务的信心不足。

核心思路：EmojiPrompt的核心思想是通过生成性转换对用户的私密数据进行模糊处理，使用语言和非语言元素的组合来保护隐私，同时确保与云端LLM的兼容性。

技术框架：EmojiPrompt的整体架构包括数据输入模块、模糊处理模块和输出模块。输入模块接收用户提示，模糊处理模块对私密数据进行转换，输出模块将处理后的提示发送给云端LLM。

关键创新：EmojiPrompt的最大创新在于其原子级别的模糊处理能力，使其能够专门针对云端LLM进行优化，显著提高了隐私保护的有效性。

关键设计：在设计过程中，EmojiPrompt采用了特定的模糊算法和参数设置，以确保模糊处理后的数据在语义上仍然有效，同时通过损失函数优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EmojiPrompt在8个不同领域的数据集上有效模糊用户私密数据，且在性能上与未模糊版本相比保持或提升了效果，具体提升幅度未知，显示出其在隐私保护和性能优化方面的双重优势。

🎯 应用场景

该研究的潜在应用领域包括社交媒体、在线客服和任何需要用户与云端LLM交互的场景。通过保护用户隐私，EmojiPrompt可以提高用户对云端服务的信任，从而促进这些技术的广泛应用。

📄 摘要（原文）

Cloud-based Large Language Models (LLMs) such as ChatGPT have become increasingly integral to daily operations. Nevertheless, they also introduce privacy concerns: firstly, numerous studies underscore the risks to user privacy posed by jailbreaking cloud-based LLMs; secondly, the LLM service providers have access to all user data, which deters individuals from confidently utilizing such services. To address such concerns, we propose a simple yet effective paradigm, EmojiPrompt, to protect user privacy. At its core, EmojiPrompt performs generative transformation, obfuscating private data within prompts with linguistic and non-linguistic elements before submitting them to cloud-based LLMs. We evaluate EmojiPrompt's performance across 8 datasets from various domains. We also propose simulated inference attacks to assess EmojiPrompt's ability to preserve user privacy. The results demonstrate that EmojiPrompt effectively obfuscates user private data, while largely maintaining, or even enhancing, performances compared to the unobfuscated version. Furthermore, EmojiPrompt's atomic-level obfuscation allows it to function exclusively with cloud-based LLMs. For source code, please refer to: https://github.com/agiresearch/EmojiCrypt.