TabPATE: Differentially Private Tabular In-Context Learning Without Public Data

📄 arXiv: 2606.31474v1 📥 PDF

作者: Dariush Wahdany, Matthew Jagielski, Jesse C. Cresswell, Adam Dziedzic, Franziska Boenisch

分类: cs.LG

发布日期: 2026-06-30

备注: Presented at the 2nd ICML Workshop on Foundation Models for Structured Data (2026)

💡 一句话要点

提出TabPATE以解决无公共数据的差分隐私表格学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 表格学习 上下文学习 成员推断 隐私保护 合成查询 机器学习

📋 核心要点

  1. 现有的表格基础模型在上下文学习中存在隐私泄露风险，基本的成员推断攻击能够成功获取私有信息。
  2. 论文提出TabPATE，通过差分隐私的PATE风格防御，分割私有上下文并在合成查询上聚合标签，避免使用公共数据。
  3. 实验结果表明，TabPATE在多个表格基准测试中保持了良好的效用，同时将成员推断的成功率降低到接近随机水平。

📝 摘要（中文）

表格基础模型能够从小规模标注数据集中进行准确的上下文学习（ICL），但私有记录在上下文中可能通过模型预测泄露。我们首先展示了即使是基本的成员推断攻击也能成功针对表格ICL，这促使了正式的隐私保护需求。随后，我们提出了TabPATE，这是一种针对表格ICL的差分隐私PATE风格防御方法，不需要公共的同分布数据。TabPATE将私有上下文分割到教师模型中，私下聚合它们在合成表格查询上的标签，并将生成的标记查询作为学生上下文发布。由于表格特征是有界且相对低维的，有用的查询可以仅从特征范围或轻微隐私化的边际生成。在表格基准测试中，TabPATE保持了竞争力的效用，同时将成员推断降低到接近随机成功，为无公共数据的私有表格ICL提供了实用路径。

🔬 方法详解

问题定义：本论文旨在解决表格上下文学习中的隐私泄露问题，现有方法在处理私有数据时容易受到成员推断攻击的影响，导致敏感信息泄露。

核心思路：论文提出的TabPATE方法通过将私有上下文分割到多个教师模型中，私下聚合标签并生成合成查询，从而实现差分隐私保护，避免使用公共数据。

技术框架：TabPATE的整体架构包括教师模型的分割、标签的私下聚合、合成表格查询的生成以及最终的学生上下文发布。每个阶段都确保了隐私保护的有效性。

关键创新：TabPATE的主要创新在于其不依赖公共数据的差分隐私保护机制，通过合成查询和标签聚合有效降低了成员推断的成功率，与传统方法相比具有显著的隐私保护优势。

关键设计：在设计中，TabPATE利用表格特征的有界性和低维性，通过特征范围生成有用查询，并采用轻微隐私化的边际来增强隐私保护效果，确保了模型的实用性与效用。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，TabPATE在多个表格基准测试中保持了与现有方法相当的效用，同时将成员推断的成功率降低到接近随机水平，展示了其在隐私保护方面的显著优势。

🎯 应用场景

该研究的潜在应用领域包括医疗数据分析、金融数据处理和用户行为预测等需要保护隐私的表格数据场景。通过实现差分隐私，TabPATE能够在保护用户数据隐私的同时，仍然提供有效的学习能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Tabular foundation models enable accurate in-context learning (ICL) from small labeled datasets, but the private records placed in context can leak through model predictions. We first show that even basic membership inference attacks succeed against tabular ICL, motivating formal privacy protection. We then introduce TabPATE, a differentially private PATE-style defense for tabular ICL that does not require public in-distribution data. TabPATE partitions the private context across teacher models, privately aggregates their labels on synthetic tabular queries, and releases the resulting labeled queries as a student context. Because tabular features are bounded and relatively low-dimensional, useful queries can be generated from feature ranges alone or from lightly privatized marginals. Across tabular benchmarks, TabPATE preserves competitive utility while reducing membership inference to near-random success, providing a practical path to private tabular ICL without public data.