TSPFN: A Temporal Tabular Foundation Model for Physiological Time Series Classification

📄 arXiv: 2608.31013v1 📥 PDF

作者: Jérémie Stym-Popper, Clément Rambour, Federica Granese, Nicolas Thome, Olivier Bernard

分类: cs.LG, cs.CV

发布日期: 2026-08-31

备注: Accepted at STACOM 2026 (MICCAI Workshop). 10 pages, 3 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出TSPFN以解决生理时间序列分类中的数据不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生理时间序列 机器学习 模型泛化 医疗应用 时间依赖性

📋 核心要点

  1. 现有的医疗机器学习模型在低至中等数据量下的泛化能力不足，尤其是在生理时间序列分类中。
  2. TSPFN通过重新设计TabPFN架构，集成结构化时间表示和位置嵌入，有效捕捉时间依赖性。
  3. 实验结果显示，TSPFN在多个生理基准测试中表现优异，超越了传统模型和专门的深度学习方法。

📝 摘要（中文）

在医疗机器学习中，如何在低至中等数据量的情况下有效泛化仍然是一个主要挑战，尤其是在生理时间序列分类方面。尽管像TabPFN这样的表格基础模型为传统的微调提供了有吸引力的替代方案，但它们并未设计用于捕捉生理信号固有的时间依赖性。本文提出了TSPFN，这是一种重新设计TabPFN架构以适应时间序列数据的基础模型。TSPFN集成了结构化的时间表示和位置嵌入，以捕捉样本内的时间和通道依赖性。通过在140,000个真实世界的生理时间序列上进行预训练，该模型实现了一个统一的、可泛化的框架，能够学习医疗时间序列的特性。实验结果表明，TSPFN在多种生理基准测试中始终优于标准表格基线和TabPFN，并在跨领域泛化方面超越了专门的深度时间序列模型。

🔬 方法详解

问题定义：本文旨在解决生理时间序列分类中模型在低数据量下的泛化能力不足的问题。现有的TabPFN模型未能有效捕捉时间序列数据中的时间依赖性，限制了其在医疗领域的应用。

核心思路：论文提出的TSPFN模型通过重构TabPFN的架构，结合结构化的时间表示和位置嵌入，旨在捕捉生理信号中的时间和通道依赖性，从而提升模型的表现。

技术框架：TSPFN的整体架构包括数据预处理、模型预训练和评估三个主要阶段。模型在140,000个真实生理时间序列上进行预训练，以学习数据的时空特征。

关键创新：TSPFN的主要创新在于其对时间序列数据的专门设计，特别是通过结构化时间表示和位置嵌入来增强模型对时间依赖性的捕捉能力，这与传统的TabPFN模型有本质区别。

关键设计：模型的关键设计包括对时间表示的结构化处理、位置嵌入的引入，以及在预训练阶段使用的损失函数和优化策略，这些设计共同提升了模型的学习能力和泛化性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多项生理基准测试中，TSPFN模型的表现显著优于标准表格基线和TabPFN，尤其在跨领域泛化能力上，超越了专门的深度时间序列模型，展示了其在医疗机器学习中的强大潜力。

🎯 应用场景

TSPFN模型在医疗领域的生理时间序列分类中具有广泛的应用潜力，能够帮助医生更准确地进行疾病诊断和监测。其统一的框架和强大的泛化能力使其在多种医疗场景中都具备实际价值，未来可能推动个性化医疗的发展。

📄 摘要（原文）

Designing models that generalize effectively in low- to medium-data regimes remains a primary challenge in medical machine learning, particularly for physiological time-series classification. While tabular foundation models such as TabPFN offer an attractive alternative to conventional fine-tuning through in-context learning, they are not designed to capture the temporal dependencies inherent to physiological signals. ~In this paper, we introduce TSPFN, a foundation model that redesigns TabPFN's architecture for time series data. TSPFN integrates structured temporal representations and positional embeddings to capture intra-sample temporal and channel dependencies. To fully leverage its spatio-temporal design, the model is pretrained on 140,000 real-world physiological time series across multiple medical domains. This yields a unified, generalizable framework capable of learning the specificities of medical time series. Experiments across diverse physiological benchmarks demonstrate that TSPFN consistently outperforms standard tabular baselines and TabPFN, and achieves superior cross-domain generalization compared to specialized deep time-series models. All our experiments, ablation studies, and pre-processing scheme are publicly available at https://github.com/Jeremstym/TSPFN