Xiaomi-TabLDM: A Tabular Foundation Model Technical Report

📄 arXiv: 2609.03880v1 📥 PDF

作者: Xiaomi-TabLDM Team, :, Penghui Wang, Wei Liu, Hong Wang, Chengyue Huang, Yuxi Sun, Zirui Wang, Hongming Huang, Quan Wang, Chunxiao Liu, Erli Meng, Bin Wang

分类: cs.AI

发布日期: 2026-09-03

💡 一句话要点

提出Xiaomi-TabLDM以提升表格数据预测性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格数据 基础模型 合成数据 上下文学习 计算效率 回归任务 特征交互 机器学习

📋 核心要点

  1. 现有方法在表格数据预测中往往需要针对特定任务进行微调，限制了模型的灵活性和效率。
  2. Xiaomi-TabLDM通过在合成数据上进行预训练，采用三阶段训练策略和双流特征分组，提升了模型的特征交互能力。
  3. 实验结果显示，Xiaomi-TabLDM在多个基准测试中表现优异，尤其在计算效率上显著优于现有模型。

📝 摘要（中文）

我们介绍了Xiaomi-TabLDM，这是一种用于分类和回归的表格大数据基础模型，通过上下文学习实现了卓越的预测准确性，而无需特定任务的微调。该模型专门在由结构因果模型生成的合成数据上进行预训练，能够更灵活地利用上下文并高效扩展能力。Xiaomi-TabLDM在多个基准测试中表现出色，结合强大的预测性能与显著降低的计算成本，展示了其在表格数据预测中的潜力。

🔬 方法详解

问题定义：本论文旨在解决表格数据预测中对特定任务微调的依赖问题，现有方法往往在灵活性和效率上存在不足。

核心思路：Xiaomi-TabLDM通过在合成数据上进行预训练，利用上下文学习实现强大的预测能力，避免了任务特定的微调需求。

技术框架：模型采用三阶段训练策略，结合双流特征分组、轻量级注意力残差机制和稀疏专家混合模型，整体架构旨在提升特征学习的丰富性和多样性。

关键创新：最重要的创新在于大规模合成预训练和测试时计算扩展，允许在推理时动态分配计算资源，从而提升预测性能。

关键设计：模型设计中采用了轻量级的注意力机制和专家混合策略，优化了计算效率和预测准确性，同时在训练过程中显著降低了训练和预测时间。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Xiaomi-TabLDM在OpenML-CTR23上排名第一，在TALENT、TabArena和BCCO的回归任务中排名第二，展现出强大的回归性能。同时，在TabArena回归任务中，其训练时间减少了82%，预测时间减少了68%，显示出优越的性能-效率平衡。

🎯 应用场景

Xiaomi-TabLDM在金融、医疗和市场分析等领域具有广泛的应用潜力，能够高效处理和分析表格数据，提供准确的预测结果。其灵活的上下文利用能力和高效的计算特性，使其在实际应用中具备重要的价值和影响力。

📄 摘要（原文）

We introduce Xiaomi-TabLDM, a tabular large data foundation model for classification and regression via in-context learning, which delivers superior prediction accuracy without requiring task-specific fine-tuning. Pretrained exclusively on synthetic data generated from structural causal models (SCMs), our model enables more flexible context utilization and more efficient capacity scaling. i) A new performance standard. Strong regression performance across benchmarks: Xiaomi-TabLDM ranks 1st on OpenML-CTR23 and 2nd on regression across TALENT, TabArena, and BCCO, demonstrating consistently strong regression performance across four complementary benchmark suites. Favorable performance--efficiency trade-off: Xiaomi-TabLDM combines strong predictive performance with substantially lower computational cost. For example, on TabArena regression, it achieves the second-highest Elo while using 82% less training time and 68% less prediction time than the top-ranked TabFM. ii) Large-scale synthetic pretraining. Xiaomi-TabLDM expands the coverage and diversity of synthetic tabular data used for pretraining. We also adopt a three-stage training strategy together with dual-stream feature grouping, lightweight Attention Residual, and sparse Mixture-of-Experts, enabling Xiaomi-TabLDM to learn richer feature interactions and expert specialization across diverse tabular tasks. iii) Test-time scaling. Xiaomi-TabLDM further extends tabular prediction through test-time compute scaling, where allocating additional computation at inference time consistently improves predictive performance over the base model.