DP-TabICL: In-Context Learning with Differentially Private Tabular Data

📄 arXiv: 2403.05681v1 📥 PDF

作者: Alycia N. Carey, Karuna Bhaila, Kennedy Edemacu, Xintao Wu

分类: cs.CR, cs.AI, cs.LG

发布日期: 2024-03-08

备注: 15 pages, 2 figures, 9 tables

💡 一句话要点

提出DP-TabICL以保护表格数据隐私并实现上下文学习

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 上下文学习 表格数据 隐私保护 机器学习 数据安全 大型语言模型

📋 核心要点

  1. 现有的上下文学习方法在处理表格数据时可能泄露敏感信息，缺乏有效的隐私保护机制。
  2. 本文提出了两种差分隐私框架（LDP-TabICL和GDP-TabICL），通过在序列化和提示前对数据进行隐私化处理来保护表格数据。
  3. 实验结果显示，基于差分隐私的ICL在多个真实世界数据集上表现出与非LLM基线相当的性能，尤其在高隐私保护条件下。

📝 摘要（中文）

上下文学习（ICL）使大型语言模型（LLMs）能够通过示例问答对适应新任务，且其性能与昂贵的模型重训练和微调相当。近期，ICL已扩展至表格数据，但LLMs可能泄露提示中的信息，尤其是表格数据常含有敏感信息。因此，保护ICL中使用的表格数据成为关键研究领域。本文首次探讨如何利用差分隐私（DP）保护ICL中的表格数据，提出了两种具有可证明隐私保证的私有ICL框架，分别适用于局部和全局差分隐私场景。实验表明，基于DP的ICL在高隐私保护下仍能实现与非LLM基线相当的性能。

🔬 方法详解

问题定义：本文旨在解决在上下文学习中使用表格数据时，如何有效保护数据隐私的问题。现有方法在处理敏感信息时存在泄露风险，亟需改进。

核心思路：通过引入差分隐私机制，本文提出在数据序列化前对表格数据进行隐私化处理，以确保在使用ICL时不泄露敏感信息。

技术框架：整体架构包括数据隐私化模块和上下文学习模块。首先对表格数据进行差分隐私处理，然后将处理后的数据序列化为自然语言格式，最后用于ICL任务。

关键创新：最重要的创新在于提出了LDP-TabICL和GDP-TabICL两种框架，分别针对局部和全局差分隐私场景，提供了可证明的隐私保证，与传统方法相比具有更高的隐私保护能力。

关键设计：在隐私化过程中，采用噪声注入技术对单个记录或群体统计数据进行处理，确保数据在序列化和提示过程中不泄露敏感信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于差分隐私的ICL在八个真实世界表格数据集上表现出与非LLM基线相当的性能，尤其在高隐私保护条件下，能够有效保护数据隐私，同时保持良好的学习效果。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和个人数据管理等需要保护隐私的场景。通过有效的隐私保护机制，能够在不牺牲性能的情况下，安全地利用表格数据进行上下文学习，推动智能系统的安全应用。

📄 摘要（原文）

In-context learning (ICL) enables large language models (LLMs) to adapt to new tasks by conditioning on demonstrations of question-answer pairs and it has been shown to have comparable performance to costly model retraining and fine-tuning. Recently, ICL has been extended to allow tabular data to be used as demonstration examples by serializing individual records into natural language formats. However, it has been shown that LLMs can leak information contained in prompts, and since tabular data often contain sensitive information, understanding how to protect the underlying tabular data used in ICL is a critical area of research. This work serves as an initial investigation into how to use differential privacy (DP) -- the long-established gold standard for data privacy and anonymization -- to protect tabular data used in ICL. Specifically, we investigate the application of DP mechanisms for private tabular ICL via data privatization prior to serialization and prompting. We formulate two private ICL frameworks with provable privacy guarantees in both the local (LDP-TabICL) and global (GDP-TabICL) DP scenarios via injecting noise into individual records or group statistics, respectively. We evaluate our DP-based frameworks on eight real-world tabular datasets and across multiple ICL and DP settings. Our evaluations show that DP-based ICL can protect the privacy of the underlying tabular data while achieving comparable performance to non-LLM baselines, especially under high privacy regimes.