VSViG: Real-time Video-based Seizure Detection via Skeleton-based Spatiotemporal ViG
作者: Yankun Xu, Junzhe Wang, Yun-Hsuan Chen, Jie Yang, Wenjie Ming, Shuang Wang, Mohamad Sawan
分类: cs.CV
发布日期: 2023-11-24 (更新: 2024-07-08)
备注: Accepted by ECCV2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出VSViG以解决视频监测癫痫发作检测延迟问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 视频监测 癫痫检测 骨架识别 时空图神经网络 实时监测 智能医疗 动作识别
📋 核心要点
- 现有的癫痫发作检测方法主要依赖EEG，导致监测设备笨重且不便，难以实现全天候监测。
- 论文提出了一种基于骨架的时空视觉图神经网络（VSViG），旨在提高视频监测的准确性和实时性。
- 实验结果显示，VSViG在检测延迟、准确率和模型效率上均优于现有技术，具有显著的性能提升。
📝 摘要（中文）
准确高效的癫痫发作检测对患者有显著益处。传统的诊断方法主要依赖脑电图（EEG），往往导致笨重且不便携带的解决方案，使得持续监测患者变得困难。基于视频的癫痫发作检测系统有望解放患者，使其不再受限于头皮或植入式EEG设备，并能够在居住环境中进行远程监测。以往的视频检测方法由于资源不足和患者动作识别技术不够有效，无法实现全天候监测或提供短检测延迟。为了解决这些挑战，我们提出了一种新颖的基于骨架的时空视觉图神经网络（VSViG）的视频癫痫发作检测模型，旨在实现高效、准确和及时的实时检测。实验结果表明，VSViG在我们收集的患者视频数据上优于以往的最先进动作识别模型，具有更高的准确率（误差5.9%）、更低的FLOPs（0.4G）和更小的模型大小（1.4M）。
🔬 方法详解
问题定义：本论文旨在解决传统癫痫发作检测方法的局限性，尤其是基于EEG的监测设备笨重且不便携，无法实现全天候监测和快速响应。
核心思路：提出的VSViG模型通过骨架数据进行时空特征提取，结合图神经网络的优势，能够有效识别细微的癫痫发作相关动作，从而实现高效的实时检测。
技术框架：VSViG模型的整体架构包括数据预处理、骨架特征提取、时空图神经网络模块和决策规则集成。数据预处理阶段负责视频数据的处理，骨架特征提取阶段利用深度学习技术提取关键动作特征，时空图神经网络模块进行特征融合和分类，最后通过决策规则实现最终的检测结果。
关键创新：VSViG的主要创新在于采用骨架数据进行时空特征建模，显著提高了对细微动作的识别能力，同时通过决策规则的集成实现了快速的检测响应，避免了误报。
关键设计：模型采用了轻量级的网络结构，参数设置经过优化，以确保在保持高准确率的同时降低计算复杂度。损失函数设计考虑了检测延迟与准确率的平衡，确保模型在实际应用中的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，VSViG在检测延迟方面表现优异，能够在EEG发作后5.1秒内做出反应，并在临床发作前13.1秒提前检测，且实现了零误报率。相较于以往模型，准确率提高了5.9%，FLOPs降低至0.4G，模型大小仅为1.4M，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括医院、居家监测和远程医疗等场景，能够为癫痫患者提供更为便捷和高效的监测解决方案。未来，VSViG有望在其他类型的动作识别和健康监测中发挥重要作用，推动智能医疗的发展。
📄 摘要（原文）
An accurate and efficient epileptic seizure onset detection can significantly benefit patients. Traditional diagnostic methods, primarily relying on electroencephalograms (EEGs), often result in cumbersome and non-portable solutions, making continuous patient monitoring challenging. The video-based seizure detection system is expected to free patients from the constraints of scalp or implanted EEG devices and enable remote monitoring in residential settings. Previous video-based methods neither enable all-day monitoring nor provide short detection latency due to insufficient resources and ineffective patient action recognition techniques. Additionally, skeleton-based action recognition approaches remain limitations in identifying subtle seizure-related actions. To address these challenges, we propose a novel Video-based Seizure detection model via a skeleton-based spatiotemporal Vision Graph neural network (VSViG) for its efficient, accurate and timely purpose in real-time scenarios. Our experimental results indicate VSViG outperforms previous state-of-the-art action recognition models on our collected patients' video data with higher accuracy (5.9% error), lower FLOPs (0.4G), and smaller model size (1.4M). Furthermore, by integrating a decision-making rule that combines output probabilities and an accumulative function, we achieve a 5.1 s detection latency after EEG onset, a 13.1 s detection advance before clinical onset, and a zero false detection rate. The project homepage is available at: https://github.com/xuyankun/VSViG/