Freezing of Gait Prediction using Proactive Agent that Learns from Selected Experience and DDQN Algorithm

📄 arXiv: 2603.03651v1 📥 PDF

作者: Septian Enggar Sukmana, Sang Won Bae, Tomohiro Shibata

分类: cs.LG

发布日期: 2026-03-04

备注: Accepted on Activity and Behavior Computing (ABC) 2026 Conference (https://autocare.ai/abc2026) and will be published on International Journal of Activity and Behavior Computing (IJABC) (International Journal of Activity and Behavior Computing)

💡 一句话要点

提出基于DDQN和经验回放的强化学习框架，用于帕金森患者步态冻结的预测。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 步态冻结预测 帕金森病 强化学习 DDQN 优先经验回放 可穿戴设备 主动干预

📋 核心要点

  1. 帕金森病患者的步态冻结难以预测，现有方法预测提前量不足，无法有效进行主动干预。
  2. 利用强化学习训练智能体，学习在FOG发生前最佳时间点发出预警，延长预测提前量。
  3. 采用DDQN和优先经验回放，并设计奖励函数，实验表明在预测提前量上取得了显著提升。

📝 摘要（中文）

步态冻结(FOG)是帕金森病(PD)患者常见的运动障碍症状，常导致跌倒和行动不便。及时准确地预测FOG发作对于通过辅助技术进行主动干预至关重要。本研究提出了一种基于强化学习的框架，旨在识别FOG发作前的最佳时间点，从而延长预测提前量，为预警系统提供支持。该模型采用双深度Q网络(DDQN)架构，并结合优先经验回放(PER)，使智能体能够专注于学习高影响的经验，并改进其策略。经过9000多个episode的训练，并采用奖励塑造策略来促进谨慎决策，该智能体在subject-dependent和subject-independent评估中均表现出强大的性能。在subject-independent场景中，该模型实现了FOG发作前高达8.72秒的预测提前量，在subject-dependent场景中为7.89秒。这些结果突出了该模型集成到可穿戴辅助设备中的潜力，为PD患者提供及时和个性化的干预，以减轻FOG。

🔬 方法详解

问题定义：论文旨在解决帕金森病患者步态冻结（FOG）难以提前预测的问题。现有方法通常依赖于检测已经发生的FOG事件，而缺乏足够长的预测提前量，无法实现有效的预防性干预。因此，需要一种能够提前预测FOG发作，并提供足够预警时间的系统。

核心思路：论文的核心思路是利用强化学习训练一个智能体，使其能够学习在FOG发作前最佳的时间点发出预警。通过将FOG预测问题建模为一个马尔可夫决策过程，智能体通过与环境交互，学习到一个最优策略，该策略能够最大化预测提前量，同时避免误报。

技术框架：整体框架包含以下几个主要模块：1) 环境：模拟帕金森病患者的步态数据，包括各种传感器数据和FOG事件标签。2) 智能体：基于DDQN算法，负责学习最优的预警策略。3) 奖励函数：用于指导智能体的学习，鼓励提前预警，同时惩罚误报和漏报。4) 经验回放：使用优先经验回放（PER）机制，提高学习效率。智能体通过与环境交互，收集经验数据，并使用DDQN算法更新其策略。

关键创新：论文的关键创新在于将强化学习应用于FOG预测问题，并结合DDQN和优先经验回放技术，提高了预测的准确性和提前量。此外，论文还设计了一种有效的奖励函数，能够平衡提前预警、误报和漏报之间的关系。

关键设计：论文采用DDQN算法，以解决传统DQN算法中存在的过估计问题。优先经验回放（PER）用于提高学习效率，使智能体能够更专注于学习重要的经验。奖励函数的设计至关重要，论文设计了一个分段函数，对提前预警给予正向奖励，对误报和漏报给予负向惩罚。具体的网络结构和参数设置在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该模型在subject-independent场景中实现了FOG发作前高达8.72秒的预测提前量，在subject-dependent场景中为7.89秒。相较于传统方法，该模型在预测提前量上取得了显著提升，为主动干预提供了充足的时间。此外，该模型在subject-independent场景中也表现出良好的泛化能力，表明其具有实际应用潜力。

🎯 应用场景

该研究成果可应用于开发可穿戴的步态冻结预警系统，通过提前预测FOG的发生，向患者提供听觉、触觉等提示，帮助患者调整步态，避免跌倒。该技术具有个性化定制的潜力，可以根据患者的个体差异进行优化，提高预警的准确性和有效性。未来，该技术有望集成到智能拐杖、智能鞋等辅助设备中，提高帕金森病患者的生活质量。

📄 摘要（原文）

Freezing of Gait (FOG) is a debilitating motor symptom commonly experienced by individuals with Parkinson's Disease (PD) which often leads to falls and reduced mobility. Timely and accurate prediction of FOG episodes is essential for enabling proactive interventions through assistive technologies. This study presents a reinforcement learning-based framework designed to identify optimal pre-FOG onset points, thereby extending the prediction horizon for anticipatory cueing systems. The model implements a Double Deep Q-Network (DDQN) architecture enhanced with Prioritized Experience Replay (PER) allowing the agent to focus learning on high-impact experiences and refine its policy. Trained over 9000 episodes with a reward shaping strategy that promotes cautious decision-making, the agent demonstrated robust performance in both subject-dependent and subject-independent evaluations. The model achieved a prediction horizon of up to 8.72 seconds prior to FOG onset in subject-independent scenarios and 7.89 seconds in subject-dependent settings. These results highlight the model's potential for integration into wearable assistive devices, offering timely and personalized interventions to mitigate FOG in PD patients.