Tydra: An Efficient Hybrid Model for Tabular Data

📄 arXiv: 2608.21199v1 📥 PDF

作者: Mieszko Komisarczyk, Saurabh Mathur, Maurice Kraus, Sriraam Natarajan, Kristian Kersting

分类: cs.LG

发布日期: 2026-08-21

💡 一句话要点

提出Tydra以平衡表格数据建模的效率与准确性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格数据建模 混合模型 Transformer 状态空间模型 推理效率 预测性能 机器学习

📋 核心要点

  1. 现有的Transformer模型如TabPFN在处理表格数据时计算成本高，尤其在上下文长度增加时表现出平方级别的复杂度。
  2. 本文提出的Tydra模型结合了Transformer和状态空间模型（SSM），通过交替使用注意力层和SSM层来提高效率与准确性。
  3. 实验结果显示，Tydra在30个OpenML数据集上相较于TabPFN推理时间减少30%，且在性能上优于更大规模的Hydra模型。

📝 摘要（中文）

基于Transformer的表格基础模型如TabPFN在预测性能上表现优异，但在上下文长度上计算成本呈平方级增长。相对而言，基于子平方的SSM替代方案如Hydra虽然提高了效率，但牺牲了准确性。为此，本文提出了Tydra，一种混合Transformer-状态空间模型（SSM）架构，旨在实现表格数据的上下文学习，交替使用注意力机制和SSM层。通过在30个OpenML数据集上的实验，Tydra在保持预测性能的同时，相较于TabPFN减少了30%的推理时间，并且在推理速度上超越了大约十倍于其规模的Hydra模型。结果表明，混合架构是表格基础模型的一个有前景的方向。

🔬 方法详解

问题定义：本文旨在解决现有表格数据建模方法在计算效率与预测准确性之间的矛盾，尤其是Transformer模型在上下文长度增加时的高计算成本问题。

核心思路：Tydra通过混合使用Transformer和状态空间模型（SSM），在模型中交替引入注意力机制和SSM层，以实现更高效的推理和保持较好的预测性能。

技术框架：Tydra的整体架构包括多个交替的注意力层和SSM层，形成一个混合模型，能够在不同阶段灵活调整计算资源，以适应不同的输入特征和上下文长度。

关键创新：Tydra的主要创新在于其混合架构设计，能够有效结合Transformer的强大表示能力与SSM的高效计算特性，从而在保持性能的同时显著降低推理时间。

关键设计：在模型设计中，Tydra采用了特定的参数设置和损失函数，以优化模型在表格数据上的表现，同时确保在推理时的计算效率。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，Tydra在30个OpenML数据集上相较于TabPFN推理时间减少了30%，同时在预测性能上保持了相对较高的水平。此外，Tydra在推理速度上超越了规模约为其十倍的Hydra模型，显示出其在效率与准确性上的优势。

🎯 应用场景

Tydra模型在表格数据处理领域具有广泛的应用潜力，适用于金融、医疗、市场分析等多个行业的数据分析任务。其高效的推理能力和良好的预测性能将为实际应用提供更快的决策支持，推动智能数据分析的发展。

📄 摘要（原文）

Transformer-based tabular foundation models such as TabPFN achieve strong predictive performance but incur quadratic computational cost with context length. On the other hand, subquadratic SSM-based alternatives such as Hydra trade away accuracy for efficiency. To balance both, we introduce Tydra, a hybrid Transformer-State Space Model (SSM) architecture for tabular in-context learning that interleaves attention and SSM layers. Across 30 OpenML datasets, Tydra reduces inference time by 30% relative to TabPFN while retaining much of its predictive performance. Tydra also outperforms an approximately ten-times-larger Hydra model while providing faster inference. The results indicate that hybrid architectures are a promising direction for tabular foundation models.