Time-Series Foundation Model Embeddings for Remaining Useful Life Estimation

📄 arXiv: 2606.11990v1 📥 PDF

作者: Amir El-Ghoussani, Michele De Vita, Ronald Naumann, Valiseios Belagiannis

分类: cs.LG, cs.AI

发布日期: 2026-06-10

备注: Accepted to EUSIPCO 2026, 4 pages, 2 figures

💡 一句话要点

提出轻量级学习方法以提升剩余使用寿命预测精度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 剩余使用寿命预测 时间序列模型 预训练模型 轻量级学习 工业维护 数据高效 特征提取

📋 核心要点

  1. 现有的RUL预测方法通常依赖于复杂的特征工程或大量标注数据，导致模型训练成本高且适用性差。
  2. 本文提出了一种基于冻结的预训练时间序列基础模型（TSFM）Chronos-2的方法，通过提取上下文特征并结合轻量级回归网络进行RUL估计。
  3. 实验结果表明，使用Chronos-2特征的模型在多种基线模型下均表现出显著的性能提升，尤其是在较长历史数据的情况下。

📝 摘要（中文）

剩余使用寿命（RUL）预测对于工业预测性维护至关重要，但许多基于学习的方法依赖于大量特征工程或大规模标注数据集来训练特定任务的序列模型。本文提出了一种轻量级学习方法，利用冻结的预训练时间序列基础模型（TSFM），并结合小型回归头进行多变量传感器流的RUL估计。具体而言，我们使用Chronos-2作为冻结的骨干网络提取上下文窗口特征，并训练轻量级回归神经网络进行RUL预测。实验证明，Chronos-2特征在相同预处理和评估协议下，持续优于基于递归、卷积、Transformer和梯度提升的基线。我们进一步分析了上下文长度的影响，发现随着历史长度的增加，性能显著提升，表明TSFM表示为工业环境中的RUL估计提供了一种实用且数据高效的替代方案。

🔬 方法详解

问题定义：本文旨在解决剩余使用寿命（RUL）预测中对大量标注数据和复杂特征工程的依赖问题。现有方法在工业应用中往往面临数据稀缺和模型复杂度高的挑战。

核心思路：论文提出利用冻结的预训练时间序列基础模型（TSFM）Chronos-2，结合小型回归头进行RUL估计。通过提取上下文窗口特征，降低了对大量标注数据的需求，同时保持了模型的预测性能。

技术框架：整体架构包括两个主要模块：首先，使用Chronos-2提取多变量传感器流的上下文特征；其次，构建一个轻量级的回归神经网络，将提取的特征输入进行RUL预测。

关键创新：最重要的创新在于将冻结的预训练TSFM与轻量级回归网络相结合，提供了一种新的数据高效的RUL估计方法。这一方法与传统的深度学习模型相比，显著降低了训练复杂度和数据需求。

关键设计：在模型设计中，选择Chronos-2作为特征提取的骨干网络，设置了适当的上下文窗口长度，并采用均方误差作为损失函数，确保模型在训练过程中的稳定性和准确性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，使用Chronos-2特征的模型在RUL预测任务中，相较于递归、卷积、Transformer和梯度提升等基线模型，性能均有显著提升，尤其是在使用较长历史数据时，性能提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括工业设备的预测性维护、故障检测和健康管理系统。通过提高RUL预测的准确性，能够有效降低维护成本，延长设备使用寿命，并提高生产效率。未来，该方法有望推广到其他需要时间序列分析的领域，如交通监控和能源管理等。

📄 摘要（原文）

Remaining Useful Life (RUL) prediction is essential for industrial predictive maintenance, yet many learning-based approaches rely on extensive feature engineering or large labeled datasets to train task-specific sequence models. In this work, we introduce a lightweight learning approach, in which we leverage a frozen pretrained time-series foundation model (TSFM) and combine it with a small regression head for RUL estimation from multivariate sensor streams. More specifically, we use Chronos-2 as a frozen backbone to extract context window features and train a lightweight regression neural network for RUL prediction. Experiments on real-world industrial sensor data from two device types show that Chronos-2 features consistently improve over recurrent, convolutional, Transformer-based, and gradient-boosting baselines under the same preprocessing and evaluation protocol. We further analyze the impact of context length and find that performance improves significantly with longer histories, indicating that TSFM representation offer a practical and data-efficient alternative for RUL estimation in industrial settings.