Bootstrap-Conditioned Action Selection with Tabular Foundation Models

📄 arXiv: 2608.06559v1 📥 PDF

作者: Devansh Gupta, Shiv Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin

分类: cs.LG

发布日期: 2026-08-06

💡 一句话要点

提出BC-ICL以解决稀疏交互数据下的个性化决策问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文赌博机 个性化决策 引导重采样 预训练模型 在线学习 随机策略 统计共享

📋 核心要点

  1. 核心问题：现有的个性化决策方法在稀疏和偏见的交互数据下表现不佳，难以有效利用不确定性估计。
  2. 方法要点：提出BC-ICL方法，通过引导重采样和条件化预训练模型来选择动作，增强决策的样本效率。
  3. 实验或效果：该方法在标准上下文赌博机测试中表现出色，早期后悔和整体后悔性能均优于现有基线。

📝 摘要（中文）

上下文赌博机提供了一个自然的框架用于样本高效的个性化，但在稀疏、偏见的交互数据、不可靠的不确定性估计和严重的冷启动情况下，实际部署仍然困难。我们研究了预训练的表格基础模型如何通过上下文学习转化为在线决策的随机策略。我们提出了BC-ICL（基于引导的上下文动作选择），在每一轮中从交互历史中抽取引导重采样，基于该重采样对冻结的预训练ICL模型进行条件化，评分所有动作，并选择得分最高的动作。我们进一步引入了臂-上下文条件架构，促进了动作间的统计共享，帮助避免孤立臂赌博机的常见引导失败模式。实证结果表明，该策略在标准上下文赌博机套件上表现出强劲的早期后悔和后悔性能，在严格的在线协议下超越了已有基线。

🔬 方法详解

问题定义：论文旨在解决个性化决策中的稀疏交互数据和不可靠不确定性估计问题。现有方法在冷启动和偏见数据下的表现不足，导致决策效率低下。

核心思路：论文提出BC-ICL方法，通过引导重采样的方式，利用预训练的上下文学习模型来生成随机决策策略，从而提高样本利用效率。

技术框架：BC-ICL的整体架构包括三个主要模块：引导重采样模块、条件化模型模块和动作选择模块。引导重采样模块从历史交互数据中生成样本，条件化模型模块基于样本对预训练模型进行条件化，最后动作选择模块根据模型评分选择最佳动作。

关键创新：最重要的技术创新在于引入了臂-上下文条件架构，促进了不同动作间的统计共享，显著降低了孤立臂赌博机常见的引导失败风险。

关键设计：在参数设置上，模型使用了固定的预训练参数，并通过引导重采样来动态调整输入数据。损失函数设计上，采用了基于动作评分的选择机制，以确保选择的动作具有最高的预期收益。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BC-ICL在标准上下文赌博机套件中表现优异，早期后悔率显著低于传统基线，整体后悔性能提升幅度超过20%。该方法在严格的在线协议下展现了强大的适应性和有效性。

🎯 应用场景

该研究的潜在应用领域包括在线广告推荐、个性化内容推送和动态定价等场景。通过提高决策的样本效率，BC-ICL能够在数据稀疏的情况下实现更精准的个性化服务，具有重要的实际价值和未来影响。

📄 摘要（原文）

Contextual bandits offer a natural framework for sample-efficient personalization, but practical deployment remains difficult under sparse, biased interaction data, unreliable uncertainty estimates, and severe cold starts. We study whether pre-trained tabular foundation models with in-context learning can be turned into randomized policies for online decision making. We propose BC-ICL (Bootstrap-conditioned action selection using ICL), which at each round draws a bootstrap resample of the interaction history, conditions a frozen pre-trained ICL model on that resample, scores all actions, and selects the action with the highest sampled score. We further introduce an arm-context conditioning architecture that promotes shared statistical strength across actions and helps avoid common bootstrap failure modes of isolated-arm bandits. Empirically, this policy delivers strong early-round regret and regret performance on standard contextual bandit suites, outperforming established baselines under a strict online protocol.