TSRNet: Simple Framework for Real-time ECG Anomaly Detection with Multimodal Time and Spectrogram Restoration Network

📄 arXiv: 2312.10187v2 📥 PDF

作者: Nhat-Tan Bui, Dinh-Hieu Hoang, Thinh Phan, Minh-Triet Tran, Brijesh Patel, Donald Adjeroh, Ngan Le

分类: eess.SP, cs.LG

发布日期: 2023-12-15 (更新: 2024-03-05)

备注: Accepted at ISBI 2024

🔗 代码/项目: GITHUB

💡 一句话要点

TSRNet：一种基于多模态时域与频谱图恢复网络的实时心电图异常检测框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心电图异常检测 多模态学习 时域分析 频谱图分析 重建误差 深度学习

📋 核心要点

  1. 现有ECG异常检测方法难以有效利用时域和时频域信息，导致模型鲁棒性不足，难以区分正常和异常ECG信号。
  2. TSRNet通过多模态时域与频谱图恢复，从ECG信号的时域和时频域提取表示，学习鲁棒的正常ECG信号特征。
  3. 在PTB-XL数据集上的实验表明，TSRNet在ECG异常检测中表现出色，同时减少了模型参数，提高了效率。

📝 摘要（中文）

心电图(ECG)是评估心脏健康（如心率和节律）的重要信号，在识别心脏疾病和检测ECG数据中的异常方面起着关键作用。然而，区分正常和异常ECG信号可能具有挑战性。本文提出了一种利用异常检测的方法，仅使用正常ECG数据进行训练来识别不健康状况。此外，为了增强可用信息并构建鲁棒的系统，我们建议同时考虑ECG信号的时域和时频域特征。因此，我们引入了一种专门的网络，称为多模态时域与频谱图恢复网络(TSRNet)，专门用于检测ECG信号中的异常。TSRNet属于基于恢复的异常检测类别，并从时域和频谱图域中汲取灵感。通过从两个域中提取表示，TSRNet有效地捕获了ECG信号的全面特征。这种方法使网络能够学习具有卓越辨别能力的鲁棒表示，从而更有效地区分正常和异常ECG模式。此外，我们引入了一种新颖的推理方法，称为基于峰值的误差，专门关注ECG峰值，这是检测异常的关键组成部分。在大型数据集PTB-XL上的实验结果表明，我们的方法在ECG异常检测中是有效的，同时通过最小化可训练参数的数量来优先考虑效率。我们的代码可在https://github.com/UARK-AICV/TSRNet获取。

🔬 方法详解

问题定义：论文旨在解决心电图(ECG)异常检测问题。现有方法通常只关注时域信息，忽略了时频域信息，导致模型对噪声和变异性的鲁棒性较差，难以准确区分正常和异常ECG信号。此外，现有方法可能需要大量的异常数据进行训练，而在实际应用中，异常数据往往难以获取。

核心思路：论文的核心思路是利用正常ECG数据训练一个能够重建正常ECG信号的网络。该网络同时考虑ECG信号的时域和时频域信息，通过多模态学习，学习到正常ECG信号的鲁棒表示。在推理阶段，如果输入ECG信号无法被网络很好地重建，则认为该信号是异常的。这种基于重建误差的异常检测方法只需要正常数据进行训练，避免了对异常数据的依赖。

技术框架：TSRNet的整体框架包括以下几个主要模块：1) 时域编码器：用于提取ECG信号的时域特征。2) 频谱图编码器：用于提取ECG信号的频谱图特征。3) 多模态融合模块：将时域和频谱图特征进行融合。4) 解码器：用于重建ECG信号。在训练阶段，网络的目标是最小化重建误差。在推理阶段，通过计算重建误差来判断ECG信号是否异常。此外，论文还提出了一种基于峰值的误差计算方法，更加关注ECG信号的峰值信息。

关键创新：论文的关键创新在于以下几个方面：1) 提出了多模态时域与频谱图恢复网络(TSRNet)，能够同时利用ECG信号的时域和时频域信息。2) 提出了一种基于峰值的误差计算方法，更加关注ECG信号的峰值信息，提高了异常检测的准确性。3) 采用基于重建的异常检测方法，只需要正常数据进行训练，避免了对异常数据的依赖。

关键设计：在网络结构方面，时域编码器和频谱图编码器可以采用各种常见的卷积神经网络结构。多模态融合模块可以使用简单的拼接或注意力机制。解码器可以使用反卷积神经网络。损失函数可以使用均方误差或L1损失。基于峰值的误差计算方法需要先检测ECG信号的峰值，然后计算峰值处的重建误差。具体的网络结构和参数设置需要根据实际情况进行调整。

📊 实验亮点

论文在PTB-XL数据集上进行了实验，结果表明TSRNet在ECG异常检测中取得了良好的性能。具体来说，TSRNet在保证检测精度的前提下，显著减少了模型参数，提高了计算效率。此外，基于峰值的误差计算方法进一步提升了异常检测的准确性。实验结果验证了TSRNet的有效性和实用性。

🎯 应用场景

该研究成果可应用于实时心电监护、远程医疗、可穿戴设备等领域。通过自动检测ECG信号中的异常，可以帮助医生及时发现心脏疾病，提高诊断效率和准确性。此外，该方法只需要正常数据进行训练，适用于异常数据稀缺的场景，具有广泛的应用前景。未来，可以将该方法与其他生理信号（如血压、血氧）相结合，构建更加全面的健康监测系统。

📄 摘要（原文）

The electrocardiogram (ECG) is a valuable signal used to assess various aspects of heart health, such as heart rate and rhythm. It plays a crucial role in identifying cardiac conditions and detecting anomalies in ECG data. However, distinguishing between normal and abnormal ECG signals can be a challenging task. In this paper, we propose an approach that leverages anomaly detection to identify unhealthy conditions using solely normal ECG data for training. Furthermore, to enhance the information available and build a robust system, we suggest considering both the time series and time-frequency domain aspects of the ECG signal. As a result, we introduce a specialized network called the Multimodal Time and Spectrogram Restoration Network (TSRNet) designed specifically for detecting anomalies in ECG signals. TSRNet falls into the category of restoration-based anomaly detection and draws inspiration from both the time series and spectrogram domains. By extracting representations from both domains, TSRNet effectively captures the comprehensive characteristics of the ECG signal. This approach enables the network to learn robust representations with superior discrimination abilities, allowing it to distinguish between normal and abnormal ECG patterns more effectively. Furthermore, we introduce a novel inference method, termed Peak-based Error, that specifically focuses on ECG peaks, a critical component in detecting abnormalities. The experimental result on the large-scale dataset PTB-XL has demonstrated the effectiveness of our approach in ECG anomaly detection, while also prioritizing efficiency by minimizing the number of trainable parameters. Our code is available at https://github.com/UARK-AICV/TSRNet.