pTNAS: Progressive Neural Architecture Search for Tabular Data

📄 arXiv: 2403.10318v3 📥 PDF

作者: Naili Xing, Shaofeng Cai, Lingze Zeng, Jiaqi Zhu, Peng Lu, Jian Pei, Beng Chin Ooi

分类: cs.LG

发布日期: 2024-03-15 (更新: 2026-06-05)

💡 一句话要点

提出pTNAS以解决表格数据神经架构搜索效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经架构搜索 表格数据 自动化机器学习 深度学习 高效建模

📋 核心要点

  1. 现有的表格数据建模方法在架构识别上面临高昂的推理成本和效率低下的问题。
  2. pTNAS通过渐进式架构搜索，结合过滤与精炼策略，快速识别并优化表格数据的神经网络架构。
  3. 实验结果表明，pTNAS在达到全局最佳架构的时间上比其他方法减少了82.75倍，且在预测性能上表现最佳。

📝 摘要（中文）

近年来，表格学习的范式已转向表格基础模型，但其准确性依赖于高昂的推理成本，且随着上下文规模的增加而表现不佳。深度神经网络在设计良好的架构下仍然是一种高效的建模范式，但在数据自适应和预算意识的方式下识别这些架构仍然具有挑战性。本文提出了pTNAS，这是首个针对表格数据的渐进式神经架构搜索方法，能够快速识别可行架构，并随着预算的增加持续改善搜索性能。pTNAS采用过滤和精炼的优化策略，结合高效的无训练和有效的基于训练的架构评估。

🔬 方法详解

问题定义：本文旨在解决表格数据建模中神经架构搜索（NAS）效率低下的问题。现有方法在架构识别上往往需要高昂的推理成本，且难以适应不同的数据特征和预算限制。

核心思路：pTNAS的核心思路是采用渐进式的方法，通过过滤和精炼两个阶段来快速识别和优化架构。过滤阶段使用pTProxy这一零成本代理来快速筛选架构，而精炼阶段则通过固定预算调度算法来准确识别最佳架构。

技术框架：pTNAS的整体架构包括两个主要阶段：过滤阶段和精炼阶段。在过滤阶段，利用pTProxy对大量架构进行快速评估；在精炼阶段，采用固定预算调度算法从候选架构中选择最佳者。

关键创新：pTNAS的主要创新在于引入了pTProxy这一零成本代理，能够同时捕捉架构的可训练性和表现力，从而有效缩小搜索空间。此外，整体的预算优化协调器也是其重要创新之一。

关键设计：在设计上，pTNAS采用了高效的训练-free和训练-based评估策略，确保在不同预算条件下都能快速找到合适的架构。关键参数设置和损失函数的选择也经过精心设计，以适应表格数据的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，pTNAS在达到全局最佳架构的时间上比其他NAS方法减少了高达82.75倍，同时在平均预测排名上表现最佳，整体效率提升达到4.78倍，相较于TabPFN显著提高了模型的端到端效率。

🎯 应用场景

pTNAS在表格数据的建模和分析中具有广泛的应用潜力，尤其是在金融、医疗和市场分析等领域。通过提高架构搜索的效率，能够帮助研究人员和工程师快速构建高效的模型，从而加速数据驱动决策的过程。未来，pTNAS可能会影响更多领域的自动化机器学习（AutoML）研究。

📄 摘要（原文）

Recent advances have shifted the paradigm of tabular learning toward tabular foundation models, yet their accuracy relies on a heavy inference cost that scales poorly with context size. Deep neural networks remain a highly competitive and more efficient modeling paradigm when equipped with well-designed architectures; however, identifying such architectures in a data-adaptive and budget-aware manner remains challenging. We propose pTNAS, the first progressive neural architecture search (NAS) approach tailored for tabular data, which enables fast identification of a viable architecture and continuously improves its search performance as more budget becomes available. pTNAS adopts a filter-and-refine optimization strategy that combines efficient training-free and effective training-based architecture evaluation. In the filtering phase, we introduce pTProxy, a novel zero-cost proxy specifically designed for tabular networks that jointly captures architectural trainability and expressivity, enabling fast filtering of large architecture search spaces. In the refinement phase, pTNAS employs a fixed-budget scheduling algorithm to accurately identify the best-performing architecture from a small set of promising candidates. We further propose a budget-aware coordinator to optimize budget allocation holistically. Experiments show that pTNAS reduces the time to reach the globally best architecture by up to 82.75 X compared with other NAS approaches, achieves the best average predictive rank, and improves end-to-end efficiency by up to 4.78 X compared with TabPFN.