Beyond Foundation Models: Dimension-Aware Neural Architecture Search with Small-Data Representation Models for Cryocooler Lifetime Prediction

📄 arXiv: 2608.06993v1 📥 PDF

作者: Gregor Molan, Grafika Jati, Francesco Barchi, Andrea Acquaviva, Aljaž Osterman, Martin Molan

分类: cs.LG, cs.AI

发布日期: 2026-08-07

备注: 48 pages

期刊: Reliability Engineering and System Safety 277 (2027) 113105

DOI: 10.1016/j.ress.2026.113105

💡 一句话要点

提出小数据表示模型以解决冷却器寿命预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小数据表示模型 冷却器寿命预测 神经架构搜索 无监督学习 多变量遥测数据

📋 核心要点

  1. 现有的大规模预训练模型依赖于丰富多样的数据，而工业领域常常缺乏这样的数据，导致预测性能受限。
  2. 本文提出FSD-RM框架，专注于小数据环境下的容量控制表示学习，采用多种适合小数据的编码器架构。
  3. 实验结果显示，所提方法在冷却器遥测数据上实现了竞争性的预测性能，同时降低了训练成本和模型复杂度。

📝 摘要（中文）

大规模预训练的时间序列模型在数据丰富的情况下表现优异，但在工业和科学领域常常缺乏足够的数据。因此，本文提出FSD-RM（小数据表示模型家族）作为有限领域特定遥测数据的实用替代方案。我们专注于使用已建立的编码器架构（如CNN1D、LSTM、GRU、Transformer）进行容量控制的表示学习。这些编码器在多变量遥测数据上进行无监督训练，并集成到一个两阶段的管道中用于下游寿命预测。通过维度感知神经架构搜索（NAS），我们系统性地研究了在数据约束下的架构权衡。实验结果表明，该方法在降低训练成本和模型复杂度的同时，仍能实现竞争性的预测性能。

🔬 方法详解

问题定义：本文旨在解决在数据稀缺的情况下，如何有效进行冷却器寿命预测的问题。现有方法依赖于大规模预训练，难以适应小数据场景。

核心思路：提出FSD-RM框架，利用小数据表示模型进行容量控制的表示学习，避免了对大规模数据的依赖。通过选择适合小数据的编码器架构，提升了模型的可解释性和性能。

技术框架：整体架构分为两个阶段：第一阶段是无监督训练多变量遥测数据的编码器，第二阶段是基于训练好的编码器进行寿命预测。采用维度感知神经架构搜索（NAS）来优化模型容量和输入维度。

关键创新：结合了传统表示学习技术与NAS驱动的框架，专门针对小数据环境进行设计，明确了参数设置和设计选择，突破了大规模预训练的限制。

关键设计：采用CNN1D、LSTM、GRU和Transformer等编码器，进行无监督训练，设计了适合小数据的损失函数和网络结构，确保模型在小数据环境下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在冷却器遥测数据上的预测性能与现有基线相比具有竞争力，训练成本和模型复杂度显著降低，展示了在小数据环境下的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括工业设备的健康监测和预测维护，尤其是在数据稀缺的情况下。通过有效的寿命预测，能够降低维护成本，提高设备的可靠性和使用寿命，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large-scale pretrained time-series models achieve strong results through large-scale pretraining and task-agnostic representation learning, but they rely on abundant, diverse data that industrial and scientific domains often lack. We therefore propose the FSD-RM (Family of Small-Data Representation Models) paradigm as a practical alternative for limited, domain-specific telemetry. Rather than relying on large-scale pretraining, we focus on capacity-controlled representation learning using established encoder architectures (CNN1D, LSTM, GRU, Transformer), selected for their suitability in small-data settings and interpretability. These encoders are trained unsupervised on multivariate telemetry data and integrated into a two-stage pipeline for downstream lifetime prediction. To systematically examine architectural trade-offs under data constraints, we employ \textbf{dimension-aware neural architecture search (NAS)} to jointly optimize model capacity and input dimensionality. Experiments on cryocooler telemetry show that the proposed approach achieves competitive predictive performance while reducing training cost and model complexity. The contribution lies in combining established representation learning techniques within a coherent, NAS-driven framework tailored to small-data regimes, with explicitly defined parameter settings and design choices. The results indicate that effective representation learning can be achieved without large-scale pretraining when appropriate inductive bias and capacity control are applied.