Supervised Contrastive Learning based Dual-Mixer Model for Remaining Useful Life Prediction

📄 arXiv: 2401.16462v1 📥 PDF

作者: En Fu, Yanyan Hu, Kaixiang Peng, Yuxin Chu

分类: cs.LG, cs.AI

发布日期: 2024-01-29

期刊: Reliability Engineering & System Safety, 251, 110398

DOI: 10.1016/j.ress.2024.110398

🔗 代码/项目: GITHUB

💡 一句话要点

提出双混合模型以解决剩余使用寿命预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 剩余使用寿命预测 双混合模型 特征融合 监督对比学习 故障预测 机器学习

📋 核心要点

  1. 现有RUL预测方法在时间和空间特征的组合上存在刚性不足，影响了预测精度。
  2. 提出双混合模型，通过灵活的特征融合确保空间-时间特征的同质性，并引入FSGRI训练方法提升模型性能。
  3. 实验结果表明，双混合模型在大多数指标上优于基线模型，RMSE和MAPE分别提升了7.00%和2.41%。

📝 摘要（中文）

剩余使用寿命（RUL）预测旨在准确估计设备从当前时刻到完全失效的剩余时间，近年来受到研究者的广泛关注。本文提出了一种新的空间-时间同质特征提取器，称为双混合模型，以克服现有RUL预测方法在时间和空间特征组合上的不足。通过灵活的层级渐进特征融合，确保空间-时间特征的同质性并提高预测精度。此外，基于监督对比学习的特征空间全局关系不变性（FSGRI）训练方法被引入，以保持样本特征与其退化模式之间关系的一致性，从而简化输出层的回归任务，提高模型在RUL预测中的性能。最后，通过与C-MAPSS数据集上的其他最新研究进行比较，验证了所提方法的有效性。

🔬 方法详解

问题定义：本文旨在解决剩余使用寿命（RUL）预测中的时间和空间特征组合不足的问题。现有方法往往采用刚性组合，导致特征表达能力不足，影响预测精度。

核心思路：提出双混合模型，通过灵活的层级渐进特征融合，确保空间-时间特征的同质性。同时，采用FSGRI训练方法，保持样本特征与退化模式之间关系的一致性，从而简化回归任务，提高预测性能。

技术框架：整体架构包括双混合模型作为特征提取器，分为多个层级进行特征融合，同时引入FSGRI训练方法以增强特征间的关系一致性。模型的输入为设备的历史运行数据，输出为RUL预测值。

关键创新：最重要的创新在于双混合模型的设计和FSGRI训练方法的引入。与现有方法相比，双混合模型能够更好地处理空间和时间特征的同质性，FSGRI方法则提升了模型对特征关系的理解能力。

关键设计：模型采用了多层网络结构，特征融合采用了层级渐进方式，损失函数设计为结合回归任务和对比学习的损失，以确保模型在训练过程中保持特征关系的一致性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，双混合模型在C-MAPSS数据集上相较于其他基线模型表现出明显优势，RMSE和MAPE分别提升了7.00%和2.41%。这些结果验证了所提方法在实际应用中的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括工业设备的故障预测、航空航天设备的维护管理以及智能制造系统中的预测性维护。通过提高RUL预测的准确性，可以有效降低设备故障风险，优化维护策略，从而提升整体运营效率和安全性。

📄 摘要（原文）

The problem of the Remaining Useful Life (RUL) prediction, aiming at providing an accurate estimate of the remaining time from the current predicting moment to the complete failure of the device, has gained significant attention from researchers in recent years. In this paper, to overcome the shortcomings of rigid combination for temporal and spatial features in most existing RUL prediction approaches, a spatial-temporal homogeneous feature extractor, named Dual-Mixer model, is firstly proposed. Flexible layer-wise progressive feature fusion is employed to ensure the homogeneity of spatial-temporal features and enhance the prediction accuracy. Secondly, the Feature Space Global Relationship Invariance (FSGRI) training method is introduced based on supervised contrastive learning. This method maintains the consistency of relationships among sample features with their degradation patterns during model training, simplifying the subsequently regression task in the output layer and improving the model's performance in RUL prediction. Finally, the effectiveness of the proposed method is validated through comparisons with other latest research works on the C-MAPSS dataset. The Dual-Mixer model demonstrates superiority across most metrics, while the FSGRI training method shows an average improvement of 7.00% and 2.41% in RMSE and MAPE, respectively, for all baseline models. Our experiments and model code are publicly available at https://github.com/fuen1590/PhmDeepLearningProjects.