Every Step of the Way: Video-based Parkinsonian Turning Step Counting
作者: Qiushuo Cheng, Jingjing Liu, Catherine Morgan, Alan Whone, Majid Mirmehdi
分类: cs.CV, cs.AI
发布日期: 2026-06-26
💡 一句话要点
提出视频基础的帕金森转身步数计数方法以解决现有技术不足
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 视频分析 步态识别 帕金森病 运动编码器 多实例学习 3D人类网格 无穿戴设备 动态捕捉
📋 核心要点
- 现有步数计数方法多依赖可穿戴设备，使用不便且难以适应真实世界的转身动作多样性。
- 本文提出了一种被动的视频基础框架，通过3D人类网格恢复和运动编码器来估计步数，兼顾粗略和细致的运动信息。
- 实验结果显示，所提方法在真实世界的PD转身数据集上显著优于现有方法，提升了步数计数的准确性。
📝 摘要（中文）
帕金森病（PD）的一个显著症状是转身障碍，其评估参数包括转身角度、持续时间及完成转身所需的步数，这直接反映了运动功能障碍。由于现实世界转身动作的多样性和帕金森步态的非典型特征，准确的步数计数面临挑战。现有方法主要依赖可穿戴设备，使用不便。为此，本文提出了一种被动的视频基础框架，通过多样的运动表示以粗到细的方式估计步数。初步步数通过3D人类网格恢复的足部运动信号估计，随后通过运动编码器学习细粒度的步态动态以精细化初步估计。大量实验表明，该方法在真实世界的PD转身数据集上表现优于现有步数计数方法。
🔬 方法详解
问题定义：本文旨在解决帕金森病患者转身时步数计数的准确性问题。现有方法多依赖可穿戴设备，难以适应患者的日常生活，且在处理复杂的转身动作时表现不佳。
核心思路：论文提出了一种被动的视频基础框架，通过3D人类网格恢复技术提取足部运动信号，并结合运动编码器学习细粒度的步态动态，以提高步数计数的准确性。
技术框架：整体架构包括两个主要阶段：首先，通过3D人类网格恢复获取粗略的步数估计；其次，利用运动编码器从网格和光流中学习细致的步态动态，进一步精细化步数估计。为处理不同长度的视频，采用多实例学习（MIL）整合片段级运动嵌入进行步数残差预测。
关键创新：最重要的创新点在于通过视频分析而非可穿戴设备进行步数计数，利用3D人类网格恢复和运动编码器的结合，显著提高了对帕金森步态动态的捕捉能力。
关键设计：在技术细节上，采用了交叉注意力机制来捕捉像素级的运动线索，并通过多实例学习处理视频片段，确保了在不同视频长度下的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在真实世界的帕金森转身数据集上表现优于现有步数计数方法，具体性能提升幅度达到XX%（具体数据未知），显示出其在复杂步态分析中的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括医疗监测、康复训练和智能家居系统等。通过提供无缝的步数计数解决方案，可以帮助医生更好地评估帕金森病患者的运动功能，并为患者提供更便捷的日常监测手段，提升生活质量。
📄 摘要（原文）
As a prominent symptom of Parkinson's disease (PD), turning impairment is evaluated through parameters such as turning angle, duration, and particularly, the number of steps required to complete a turn, which directly reflects motor dysfunction. Accurate step counting is challenging due to variability in real-world turning movements and atypical shuffling patterns in parkinsonian gait. Existing methods are predominantly wearable-based, requiring users to wear and manage dedicated devices, which can be inconvenient for continuous daily use. To address this, we propose a passive, video-based framework that estimates step count in a coarse-to-fine manner using diverse motion representations. Specifically, an initial step count is estimated from foot movement signals derived from 3D human mesh recovery, providing high-level motion structures. To incorporate fine-grained motion details, a motion encoder learns complementary gait dynamics from mesh and optical flow to refine the initial estimate. In this process, coarse foot movement signals query the pixel-level motion cues via cross attention to capture subtle parkinsonian gait dynamics. To handle varying video lengths, we partition each video into clips and integrate clip-wise motion embeddings via multiple instance learning (MIL) for step count residual prediction. Extensive experiments show our method consistently outperforms existing step counting methods on real-world PD turning datasets.