MM-Net: A Multimodal Multi-Task Network for Sleep Staging and Sleep Apnea Assessment After Ischemic Stroke

📄 arXiv: 2610.36583v1 📥 PDF

作者: Md Wahiduzzaman Suva, Esm E Moula Chowdhury Abha, Md Imtiaj Alam Sajin, Md Iftekharul Mobin, Jia Uddin

分类: cs.LG, cs.AI, eess.SP

发布日期: 2026-10-27

💡 一句话要点

提出MM-Net以解决缺血性中风后睡眠分期与呼吸暂停评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 睡眠分期 呼吸事件检测 缺血性中风 神经适应

📋 核心要点

  1. 现有方法在缺血性中风后自动多导睡眠监测中面临睡眠神经活动改变和呼吸障碍的挑战，缺乏对睡眠结构与呼吸事件的联合分析。
  2. 论文提出MM-Net，通过交叉拟合和岭回归嵌入对齐，融合多模态数据以实现睡眠分期和呼吸事件检测的同步。
  3. 在iSLEEPS数据集上，MM-Net实现了76.3%的分期准确率和0.825的呼吸事件AUC，显著优于基线模型，验证了其有效性。

📝 摘要（中文）

缺血性中风后的自动多导睡眠监测面临挑战，主要由于睡眠相关神经活动的改变和呼吸障碍的并发存在。现有针对中风的研究主要集中在睡眠阶段分类上，缺乏对睡眠结构和呼吸事件的联合分析。本文提出MM-Net，一个多模态多任务框架，通过交叉拟合和基于岭回归的嵌入对齐来解决表示不一致问题。该框架将适应睡眠的EEG-EOG表示与工程化的神经描述符融合，并通过交叉注意力和共享时间建模实现睡眠分期和呼吸事件检测的同步。实验结果显示，MM-Net在iSLEEPS数据集上实现了76.3%的分期准确率和0.825的呼吸事件AUC，超越了基线模型。

🔬 方法详解

问题定义：本文旨在解决缺血性中风后自动多导睡眠监测中的睡眠分期与呼吸暂停评估问题。现有方法主要集中于睡眠阶段分类，缺乏对睡眠结构和呼吸事件的综合分析，导致表示不一致。

核心思路：MM-Net通过交叉拟合和基于岭回归的嵌入对齐，解决了在不同患者之间训练和评估模型时的表示不一致问题。该方法融合了适应睡眠的EEG-EOG表示和工程化的神经描述符，以实现多任务学习。

技术框架：MM-Net的整体架构包括多个模块：首先，适应睡眠的EEG-EOG表示与心肺特征通过交叉注意力机制进行融合；其次，利用共享时间建模实现同步的睡眠分期和呼吸事件检测。

关键创新：最重要的技术创新在于通过交叉拟合和岭回归嵌入对齐，解决了不同患者间的表示不一致问题，从而提高了模型的泛化能力。

关键设计：在模型设计中，采用了交叉注意力机制和共享时间建模，损失函数设计为多任务损失，确保睡眠分期和呼吸事件检测的有效联合学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在iSLEEPS数据集上，MM-Net实现了76.3%的睡眠分期准确率（Cohen's κ = 0.656）和0.825的呼吸事件AUC，超越了所有基线模型。此外，适应睡眠的编码器通过嵌入对齐提升了分期准确率1.4个百分点，验证了模型的有效性。

🎯 应用场景

该研究的潜在应用领域包括临床睡眠医学和神经康复，能够为缺血性中风患者提供更准确的睡眠监测与评估，帮助医生制定个性化的治疗方案。未来，该方法也可能扩展到其他睡眠障碍的研究与诊断中，具有重要的实际价值。

📄 摘要（原文）

Automated polysomnography after ischemic stroke is challenging because of altered sleep-related neural activity and concurrent respiratory disturbances. Existing stroke-specific approaches mainly address sleep-stage classification, leaving joint analysis of sleep architecture and respiratory events underexplored. Moreover, adapting pretrained EEG encoders introduces a representation inconsistency when downstream models are trained on embeddings from previously seen patients but evaluated on unseen individuals. We propose MM-Net, a multimodal multi-task framework that resolves this inconsistency through cross-fitting and ridge-based embedding alignment. Sleep-adapted EEG-EOG representations and engineered neural descriptors are fused with learned cardiorespiratory features through cross-attention and shared temporal modeling for simultaneous sleep staging and respiratory-event detection. On iSLEEPS (99 patients with subacute ischemic stroke), ten-fold patient-independent evaluation achieved 76.3% staging accuracy (Cohen's $κ$ = 0.656) and 0.825 respiratory-event AUC, outperforming the evaluated baselines under matched protocols. The sleep-adapted encoder improved the downstream model when its embeddings were aligned, raising staging accuracy by 1.4 percentage points over the frozen encoder ($p$ = 0.020) versus 0.2 points without alignment. MM-Net also achieved 86.4% staging accuracy on Sleep-EDF, above every single-EEG architecture reimplemented on the same recordings, and 80.3% staging accuracy with 0.889 respiratory AUC on ISRUC-I, exceeding its retrained staging baselines. Without retraining, the iSLEEPS-trained model retained respiratory AUCs of 0.833 on ISRUC-I and 0.841 on UCD. These findings support representation-consistent neural adaptation and joint physiological modeling across stroke, healthy-sleep, and sleep-disorder cohorts.