Self-Supervised Pretraining for PHM: What Transfers, What Does Not, and What Federating It Costs

📄 arXiv: 2610.35280v1 📥 PDF

作者: José Sanz-Durán, David Solís-Martín

分类: cs.AI, cs.CE, cs.LG, cs.PF

发布日期: 2026-10-26

💡 一句话要点

提出自监督预训练方法以提升PHM任务性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自监督学习 故障预测 健康管理 迁移学习 时间序列分析 Transformer 联合学习

📋 核心要点

  1. 现有自监督预训练方法在PHM任务中的有效性尚未得到充分验证，尤其是在控制泄漏的情况下。
  2. 本文提出在47个公共PHM数据集上进行自监督预训练，探索不同预训练方式对任务迁移的影响。
  3. 实验结果表明，集中式预训练在故障分类任务中显著提升了性能，而在剩余使用寿命估计任务中效果不明显。

📝 摘要（中文）

自监督预训练在时间序列基础模型中表现出色，但在泄漏控制条件下对预测与健康管理（PHM）的价值尚未评估。本文在47个公共PHM数据集上进行测量，发现迁移效果依赖于具体任务。通过集中式和模拟跨孤立联合的两种预训练方式，结果显示集中式编码器在多个比较中表现优越，且SSL损失并非有效选择标准。最终，研究发布了数据集管道、协议及代码。

🔬 方法详解

问题定义：本文旨在评估自监督预训练在PHM任务中的有效性，尤其是在控制数据泄漏的条件下，现有方法在不同任务上的迁移能力尚不明确。

核心思路：通过在47个公共PHM数据集上进行自监督预训练，比较集中式与跨孤立联合的预训练方式，分析其对任务迁移的影响。

技术框架：研究采用了集中式预训练和模拟跨孤立联合预训练两种方式，保持网络架构、目标、源数据和优化预算一致，评估其在不同任务上的表现。

关键创新：本文的主要创新在于系统性地评估自监督预训练在PHM任务中的迁移能力，揭示了集中式与联合预训练在性能上的显著差异。

关键设计：采用了紧凑的通道无关Transformer编码器，参数量为801,808，使用掩码补丁预测作为预训练目标，实验中还探讨了学习率对迁移效果的影响。

📊 实验亮点

实验结果显示，集中式预训练在CWRU数据集上将故障分类的宏F1值从0.350提升至0.812，在HSG18数据集上从0.569提升至0.951，而在剩余使用寿命估计任务中，预训练检查点未能显著改善基线性能，显示出任务依赖性。

🎯 应用场景

该研究的潜在应用领域包括工业设备的故障预测与健康管理，能够帮助企业在设备维护中实现更高的效率和准确性。通过优化预训练策略，未来可在更多实际场景中推广应用，提升设备的可靠性和安全性。

📄 摘要（原文）

Self-supervised pretraining has produced capable time-series foundation models, but its value for Prognostics and Health Management (PHM) has not been measured under leakage-controlled conditions. We measure it on a corpus of 47 public PHM datasets, harmonized to a single tensor contract and partitioned so that 11 datasets are withheld from pretraining in full. Transfer turns out to be task-dependent: a compact channel-independent Transformer encoder (801,808 parameters) pretrained with masked patch prediction raises fault-classification macro-F1 from 0.350 to 0.812 on CWRU and from 0.569 to 0.951 on HSG18, yet on CMAPSS remaining-useful-life estimation no pretrained checkpoint reliably improves upon a from-scratch baseline. We pretrain under two regimes---centralized, and simulated cross-silo federated with ten clients grouped by physical domain---holding architecture, objective, source data and optimization budget fixed. Two further findings are negative. At matched budget the centralized encoder leads by 15.5--20.2 macro-F1 points in four of four comparisons, although the comparison is confounded by a learning-rate schedule that favours the centralized arm and rests on a single pretraining run per regime; on RUL the two regimes are indistinguishable. And the intrinsic SSL loss is not a valid selection criterion: the centralized encoder more than halves the federated reconstruction loss without a corresponding gap on RUL, and a server-momentum sweep moves downstream validation macro-F1 by up to 0.29 while the SSL loss varies by 0.021. Transfer also hinges on the backbone learning rate: the same checkpoint yields 0.169 or 0.829 macro-F1 on CWRU depending on a single order of magnitude. We release the corpus pipeline, the protocol and the code.