Privacy Vulnerabilities of Attention Layers in Tabular Foundation Models and Protection of High-Risk Queries

📄 arXiv: 2606.26021v1 📥 PDF

作者: Tânia Carvalho, Maxime Cordy

分类: cs.CR, cs.AI

发布日期: 2026-06-24

备注: 18 pages, 12 figures, 4 tables

💡 一句话要点

提出AMIA以解决表格基础模型的隐私漏洞问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 成员推断攻击 注意力机制 k-匿名 表格基础模型

📋 核心要点

  1. 现有表格基础模型在推理时可能泄露敏感信息，导致成员推断攻击的风险增加。
  2. 提出AMIA攻击方法，利用注意力机制的集中性进行成员推断，且不依赖于影子模型。
  3. 实验结果显示，AMIA攻击在低假阳性情况下提升7.7%，并且提出的防御方法有效降低了成员泄露。

📝 摘要（中文）

表格基础模型通常被认为隐私风险有限，因为它们通常在大量合成数据上进行预训练。然而，这些模型在推理时可能直接接收敏感记录作为上下文示例。本文展示了通过注意力机制生成的预测会泄露足够的信息，从而使得有效的成员推断攻击成为可能。为此，我们提出了AMIA（基于注意力的成员推断攻击），一种无影子模型的攻击，利用变换器注意力模式的集中性。实验结果表明，注意力机制揭示了强烈的成员信号，超越了经典的基于置信度的攻击，尤其在低假阳性率下，平均提升达7.7%。为降低风险，我们引入了一种基于k-匿名原则的推理时防御方法，该方法在不引入随机噪声或重新训练模型的情况下，减少上下文关键表示的唯一性。通过针对AMIA评分识别的高风险查询，该防御方法将攻击的成员泄露平均减少50%和25%，同时仅有3.9%的性能下降。

🔬 方法详解

问题定义：本文解决的是表格基础模型在推理时可能泄露敏感信息的问题，现有方法未能有效防范成员推断攻击（MIA）。

核心思路：提出AMIA攻击，利用注意力机制的集中性来识别成员信息，同时设计基于k-匿名原则的防御方法，降低上下文表示的唯一性。

技术框架：整体流程包括AMIA攻击的实施和基于k-匿名的防御机制。AMIA通过分析注意力模式来识别高风险查询，而防御机制则在推理时调整上下文表示。

关键创新：AMIA攻击是无影子模型的，利用注意力机制的特性进行成员推断，显著提升了攻击效果，且提出的防御方法在保持预测效用的同时有效降低了成员泄露。

关键设计：防御方法不引入随机噪声或重新训练模型，专注于高风险查询的识别和处理，确保在减少泄露的同时保持模型性能。具体参数设置和损失函数未详细披露，需进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AMIA攻击在低假阳性情况下的成员推断提升达7.7%，而基于k-匿名的防御方法有效减少了50%的成员泄露，且仅有3.9%的性能下降，显示出良好的实用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗数据分析、金融服务和任何涉及敏感信息的机器学习应用。通过提高模型的隐私保护能力，可以增强用户信任，降低数据泄露风险，推动更安全的人工智能系统发展。

📄 摘要（原文）

Tabular foundation models are commonly assumed to present limited privacy concerns as they are often pre-trained on large collections of synthetic data. However, these models leverage in-context learning, where sensitive records may be provided directly at inference time as labelled context examples. In this paper, we demonstrate that predictions generated via the attention mechanism leak sufficient information to enable effective Membership Inference Attacks (MIAs). To highlight this vulnerability, we propose AMIA (Attention-based Membership Inference Attack), a shadow-model-free attack that exploits the concentration of transformer attention patterns. Our results show that attention mechanisms reveal strong membership signals, which exceed classical confidence-based attacks, achieving an average gain of 7.7\%, specially in low false-positive regimes. To mitigate this risk, we introduce an inference-time defence inspired by $k$-anonymity principles. This approach reduces the uniqueness of context-key representations without introducing random noise or retraining the model. By targeting only high-risk queries identified through AMIA scores, the defence substantially reduces membership leakage of this attack by an average of 50\% and 25\% against confidence-based attacks, while preserving predictive utility with only 3.9\% performance degradation. Beyond showing that context examples are vulnerable, we further demonstrate that fine-tuning introduces an additional source of privacy risk. In particular, samples whose prediction confidence increases after fine-tuning become more susceptible to MIAs, indicating that fine-tuning can amplify memorisation and expose sensitive training information through confidence shifts.