Probing Memorization of Tabular In-Context Learning

📄 arXiv: 2606.31208v1 📥 PDF

作者: Francesco Capano, Jonas Böhler

分类: cs.LG, cs.CR

发布日期: 2026-06-30

备注: Accepted at 2nd ICML Workshop on Foundation Models for Structured Data, 2026

💡 一句话要点

提出ICLMEM框架以探测表格模型的记忆化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格模型 上下文学习 记忆化 数据隐私 模型安全性 参数记忆 控制微调 实验评估

📋 核心要点

  1. 现有的表格模型在训练过程中可能会无意中记忆训练数据，但其记忆动态尚未被深入研究。
  2. 本文提出了ICLMEM框架，通过剥离上下文模式来探测模型的参数记忆，从而实现对记忆化现象的分析。
  3. 实验结果显示，在10个任务中有8个任务检测到记忆信号，尤其是在低基数和二元任务中，表现尤为明显。

📝 摘要（中文）

大型表格模型（LTM）利用上下文学习（ICL）在表格任务中取得了最先进的性能。然而，LTM的记忆化动态尚未得到充分探索。本文研究了表格ICL中的参数记忆潜力，提出了ICLMEM框架，旨在将基于上下文的预测与参数记忆分离。通过零信息多项选择上下文，剥离有效的上下文模式，迫使模型回归其参数记忆。我们的控制微调设置建立了成员资格的真实情况，并考虑了常见的陷阱，如分布偏移、特征污染等。对一个领先的真实世界训练LTM的评估发现，在10个任务中有8个检测到中等的记忆信号。值得注意的是，记忆信号在低基数和二元任务中最强，但在现实训练条件下大多消失。我们的发现表明，在特定情况下，LTM的记忆信号是存在的。

🔬 方法详解

问题定义：本文旨在探讨大型表格模型（LTM）在上下文学习中可能出现的参数记忆现象。现有方法未能充分揭示LTM的记忆动态，导致对模型行为的理解不足。

核心思路：提出ICLMEM框架，通过设计零信息多项选择上下文，剥离有效的上下文模式，迫使模型依赖其参数记忆，从而分离上下文预测与记忆化现象。

技术框架：该框架包括多个模块：首先，通过控制微调设置建立成员资格的真实情况；其次，设计零信息上下文以剥离有效模式；最后，进行评估以检测记忆信号。

关键创新：ICLMEM框架的核心创新在于其能够有效分离上下文预测与参数记忆，提供了一种新的探测记忆化现象的方法，与现有方法相比，具有更高的准确性和可控性。

关键设计：在实验中，采用了控制微调设置，考虑了分布偏移、特征污染等因素，并以预训练基模型作为参考，以校准样本难度。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果显示，在10个任务中有8个任务检测到中等的记忆信号，AUC值最高达到0.67，且在1%假阳性率下的真正率超过0.1。特别是在低基数和二元任务中，记忆信号最为显著，但在现实训练条件下大多消失，表明模型在特定情况下存在记忆化现象。

🎯 应用场景

该研究的潜在应用领域包括数据隐私保护、模型安全性评估以及表格数据处理等。通过深入理解LTM的记忆化现象，可以为模型设计提供指导，确保在敏感数据处理中的安全性和合规性，未来可能影响机器学习模型的训练和应用策略。

📄 摘要（原文）

Large tabular models (LTMs), i.e., tabular foundation models leveraging in-context learning (ICL), achieve state-of-the-art performance on tabular tasks. While LLMs are known to unintentionally memorize training data, the memorization dynamics of LTMs remain largely unexplored. We investigate the potential for parametric memorization in tabular ICL. We introduce ICLMEM, a probing framework designed to separate context-based predictions from parametric memorization. Our zero-information multiple-choice context strips away valid contextual patterns to force the model to fall back on its parametric memory. Our controlled fine-tuning setup establishes membership ground truth and accounts for common pitfalls, e.g., distribution shift, feature contamination, base-rate fallacy, and the pre-trained base model acts as reference to calibrate for sample difficulty. Our controlled evaluation on a leading real-world-trained LTM detects moderate memorization signals in 8 out of 10 tasks ($\text{AUC}$ up to $0.67$ and TPR at $1\%$ FPR $>0.1$). Notably, memorization signals are strongest for low-cardinality and binary tasks. However, they largely vanish under realistic training conditions. Our findings show LTM memorization signals under specific circumstances (single-task fine-tuning with fixed samples across many epochs and small query size). To protect sensitive data, appropriate measures must be taken, which we discuss.