Bounded Context Management for Tabular Foundation Models on Stream Learning

📄 arXiv: 2606.18677v1 📥 PDF

作者: Jinmo Lee, Doyun Choi, Moongi Choi, Jaemin Yoo

分类: cs.LG, cs.AI

发布日期: 2026-06-17

备注: Accepted as a spotlight oral (top 5%) at the 2nd ICML Workshop on Foundation Models for Structured Data (FMSD@ICML2026)

🔗 代码/项目: GITHUB

💡 一句话要点

提出CURE以解决表格流学习中的上下文管理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流学习 上下文管理 表格基础模型 不确定性 冗余驱逐

📋 核心要点

  1. 核心问题：现有流学习方法在面对分布变化时，依赖模型状态更新，难以有效管理上下文信息。
  2. 方法要点：提出CURE策略，通过不确定性意识的接纳和冗余意识的驱逐来优化上下文管理。
  3. 实验或效果：CURE在七个流数据集上实现了最高27.0%的相对提升，且在多种TFM骨干网络上表现稳健。

📝 摘要（中文）

表格流学习需要对顺序到达的样本进行预测，并应对分布变化。传统方法通过更新模型状态来适应，而表格基础模型（TFMs）则通过有标签的上下文进行条件预测，成为流学习的自然替代方案。这使得挑战转向如何管理上下文。本文提出了一种未来信息视角，提出了上下文管理的三项实际需求：保留最近样本、保留不确定样本和移除冗余样本。基于这些需求，本文实现了CURE（基于不确定性意识的接纳和冗余意识的驱逐的上下文管理策略），在七个流上，CURE相较于经典流学习者显示出最高27.0%的相对提升，并在多个TFM骨干网络上保持稳健，排名其他策略变体之首。

🔬 方法详解

问题定义：本文旨在解决表格流学习中如何有效管理上下文的问题。现有方法主要依赖模型状态的更新，难以适应快速变化的输入分布，导致预测性能下降。

核心思路：论文提出了一种新的上下文管理策略CURE，强调在流学习中如何有效保留有用的信息，同时移除冗余和不必要的样本，以提高模型的适应性和预测准确性。

技术框架：CURE的整体架构包括三个主要模块：不确定性意识的样本接纳、冗余样本的驱逐和上下文的动态更新。通过这些模块，CURE能够在流数据中有效管理上下文信息。

关键创新：CURE的核心创新在于结合了不确定性意识和冗余意识的上下文管理策略，这与传统方法的单一模型更新策略形成了鲜明对比，显著提升了流学习的效果。

关键设计：CURE采用了熵门控机制来决定样本的接纳与驱逐，确保保留那些对模型决策最有价值的样本，同时通过动态调整上下文来适应新的输入数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CURE在七个流数据集上表现出色，相较于经典流学习者实现了最高27.0%的相对提升，并在多种TFM骨干网络上保持稳健，显示出其优越的上下文管理能力，排名所有策略变体之首。

🎯 应用场景

该研究的潜在应用领域包括金融交易、实时监控和在线推荐系统等，需要对快速变化的数据流进行实时预测和决策。通过优化上下文管理，CURE能够提升模型在动态环境中的适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Tabular stream learning requires predictions on sequentially arriving examples under distribution shift. While standard methods adapt by updating model states, tabular foundation models (TFMs) make predictions conditioned on a labeled context in an in-context manner, making them a natural alternative for stream learning. This shifts the challenge from how to update the model to how to manage the context. We propose a future information view that yields three practical requirements for context management: preserve recent examples, retain uncertain examples, and remove redundant examples. We instantiate these requirements as CURE (Context management via Uncertainty-aware admission and Redundancy aware Eviction), a context-managing policy with entropy-gated admission and redundancy-aware eviction. Across seven streams, CURE shows up to 27.0% relative improvement over classical stream learners, remains robust across multiple TFM backbones, and ranks first among other policy variants. Code and datasets are available at https://github.com/morcellinus/CURE-ICML-FMSD.