Recall or Relearn? A Mixture of In-Context Experts for Recurring Concept Drift

📄 arXiv: 2610.36585v1 📥 PDF

作者: Zhangkai Wu, Xu Zhang, Zhihong Cui, Yiqi Wang, Yi Zhang

分类: cs.LG, cs.IR

发布日期: 2026-10-27

💡 一句话要点

提出MICE以解决重复概念漂移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 概念漂移 Tabular Foundation Models 实时数据流 机器学习 网络入侵检测 训练无关学习 数据适应性

📋 核心要点

  1. 现有方法在处理概念漂移时，面临回忆与重学的选择，导致效率低下和准确性下降。
  2. MICE通过将数据流切割成段并在适当时合并存储上下文，避免了频繁重学，提高了模型的适应性。
  3. 实验表明，MICE在多种流数据上表现优异，尤其是在随机边界阶段的网格流中，准确率显著高于其他对比方法。

📝 摘要（中文）

本文提出了一种名为MICE（Mixture of In-Context Experts）的训练无关学习方法，旨在解决在网络入侵检测等Web数据流中，Tabular Foundation Models（TFMs）面临的回忆或重学决策问题。当过去的概念重新出现时，MICE通过将检测到变化的流切割成段，并在额外误差在容忍范围内时将闭合段合并到存储上下文中，从而实现高效的适应。实验结果表明，MICE在随机边界阶段的网格流中优于重置方法，并在真实流中展现出最高的平均准确率。

🔬 方法详解

问题定义：本文解决的是在Web数据流中，TFMs在概念漂移时如何有效地决定是回忆存储的概念还是重学新标签的问题。现有方法往往需要频繁重学，导致效率低下和准确性不足。

核心思路：MICE提出了一种训练无关的学习方法，通过将数据流切割成段并在检测到变化时合并上下文，从而实现高效的概念适应。这种设计旨在减少重学的频率，提高模型的实时性和准确性。

技术框架：MICE的整体架构包括快速层和慢速层。快速层根据预测的对数损失对存储上下文和FIFO窗口进行加权，而慢速层则将快速层的预测与FIFO窗口的预测混合，以限制每个时间点的折扣半Brier遗憾。

关键创新：MICE的主要创新在于其训练无关的学习机制和快速层的设计，使得在存储上下文的情况下，模型能够在准确性上超越重学方法。与现有方法相比，MICE在处理概念漂移时更加高效。

关键设计：MICE的设计包括对存储上下文的容量限制、快速层和慢速层的加权机制，以及对预测准确性的评估方法。这些设计确保了模型在面对概念漂移时的灵活性和准确性。

📊 实验亮点

在实验中，MICE在随机边界阶段的网格流中表现出显著优势，准确率超过了重置方法，并在所有比较的策略中实现了最高的平均准确率。这表明MICE在处理概念漂移时的有效性和优越性，尤其是在真实流数据的应用中。

🎯 应用场景

MICE的研究成果在网络入侵检测、金融欺诈检测和实时数据分析等领域具有广泛的应用潜力。通过提高模型在动态环境中的适应能力，MICE能够帮助企业更有效地应对不断变化的数据流，从而提升决策效率和准确性。未来，MICE的理念也可以扩展到其他需要处理概念漂移的机器学习任务中。

📄 摘要（原文）

Tabular foundation models (TFMs) are being applied to Web data streams such as network intrusion detection, where they adapt by updating the labelled rows of their context without retraining. When a past concept returns after leaving the context, a TFM faces a recall-or-relearn decision between restoring stored rows of the concept and relearning it from new labels. We propose MICE (Mixture of In-Context Experts), a training-free learner that cuts the stream into segments at detected changes. It merges a closed segment into a stored context when the TFM's estimated additional error on the segment is within a tolerance, under a capacity limit on stored contexts. A fast level weights the stored contexts and first-in-first-out (FIFO) windows by the log-loss of their predictions on the last labelled batch. We show that, with pure stored contexts and a margin condition, this fast level gains over relearning, in expected accuracy, the normalised positive area between the stored context's accuracy and the TFM's learning curve, up to a first-batch term. A slow level mixes the fast level's prediction with that of the FIFO window of the last labelled rows and bounds the discounted half-Brier regret of MICE against this window at every time. Learning curves measured beforehand predict the ordering of the observed recall gains. MICE outperforms reset, which empties the context at detected drifts, on grid streams with random boundary phases. Merging keeps fewer experts than pools that store every segment, and with fixed segmentation a time-matched snapshot pool matches MICE on the shifted grid. On real streams, MICE has the highest mean accuracy of all policies we compare.