TabCUQ: Context-Uncertainty Quantification for Tabular Foundation Models
作者: Yuebei Shi, Molei Liu, Zijian Guo
分类: stat.ML, cs.LG
发布日期: 2026-10-29
💡 一句话要点
提出TabCUQ以解决表格基础模型的不确定性量化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 不确定性量化 表格基础模型 上下文学习 扰动方法 wild-bootstrap
📋 核心要点
- 现有方法在不确定性量化方面存在不足，尤其是在有限上下文偏差和上下文变化的双重挑战下。
- 论文提出的TabCUQ框架通过扰动观察结果并应用基础模型，来有效估计上下文变化和有限上下文偏差。
- 实验表明，TabCUQ在七个真实任务中显著提高了覆盖率，且平均区间宽度是基准的两倍。
📝 摘要（中文）
表格基础模型利用上下文学习来估计特定人群的条件期望结果和平均处理效应。然而，科学决策需要可靠的不确定性量化，这面临着有限上下文偏差和上下文变化的双重挑战。本文提出TabCUQ，一个基于扰动的框架，通过向观察结果注入噪声并应用基础模型于扰动上下文，来估计上下文变化并考虑有限上下文偏差。实验结果显示，TabCUQ在多个真实任务中显著提高了覆盖率，且平均区间宽度通常是基准的两倍。
🔬 方法详解
问题定义：本文旨在解决表格基础模型在科学决策中不确定性量化的不足，特别是如何同时考虑有限上下文偏差和上下文变化的问题。现有的预测扩散方法无法有效量化这两种不确定性，且普通自助法可能会显著高估上下文变化。
核心思路：TabCUQ框架通过向观察结果注入噪声，生成扰动上下文，并利用基础模型进行估计，从而实现对上下文变化的有效量化，同时考虑有限上下文偏差。这样的设计使得不确定性量化更加可靠。
技术框架：TabCUQ的整体架构包括两个主要模块：首先是扰动生成模块，通过注入噪声生成扰动上下文；其次是估计模块，利用wild-bootstrap离散度来估计上下文变化，并通过最大偏差来考虑有限上下文偏差。
关键创新：最重要的技术创新在于引入了扰动生成和wild-bootstrap方法的结合，使得对上下文变化和有限上下文偏差的量化更加精确。这与现有方法的本质区别在于同时处理了两种不确定性来源。
关键设计：在设计中，使用了wild-bootstrap方法来计算上下文变化的离散度，并通过最大偏差来量化有限上下文偏差。此外，框架的参数设置和损失函数设计也经过精心调整，以确保估计的有效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TabCUQ在七个真实任务中的覆盖率显著提高，平均区间宽度通常是基准的两倍，表明该方法在不确定性量化方面的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括医疗决策、社会科学研究和市场分析等，能够为科学决策提供更可靠的不确定性量化支持。未来，TabCUQ可能会在更多领域得到应用，帮助研究人员和决策者更好地理解和应对不确定性。
📄 摘要（原文）
Tabular foundation models use in-context learning to estimate conditional expected outcomes and average treatment effects for specific groups of individuals. Using these estimates to guide scientific decisions requires reliable uncertainty quantification. The challenge is to account simultaneously for two sources of uncertainty: limited-context bias and context variation arising from the small labeled sample supplied at inference. Predictive spread does not directly quantify both sources of uncertainty, and we observe that the ordinary bootstrap may substantially overestimate context variation, whereas subsampling may underestimate it. We introduce TabCUQ, a perturbation-based framework that injects noise into observed outcomes and applies the foundation model to the perturbed contexts. TabCUQ estimates context variation using wild-bootstrap dispersion and accounts for limited-context bias using the maximum deviation between perturbed and original estimates. For a kernel-regression analogue whose estimation error admits an exact decomposition into these two components, we show that our framework provides asymptotically valid pointwise coverage. In simulations, TabCUQ substantially improves coverage, with average interval widths typically about twice those of an oracle bias-aware benchmark. Across seven real-world tasks, it also improves coverage of reference functions learned from much larger samples.