ε-Neural Thompson Sampling of Deep Brain Stimulation for Parkinson Disease Treatment

📄 arXiv: 2403.06814v1 📥 PDF

作者: Hao-Lun Hsu, Qitong Gao, Miroslav Pajic

分类: cs.LG, q-bio.NC

发布日期: 2024-03-11

备注: 11 pages, 12 figures, 2 tables. To appear in the 15th ACM/IEEE International Conference on Cyber-Physical Systems (ICCPS'2024)

💡 一句话要点

提出ε-神经汤普森采样以优化帕金森病深脑刺激

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 深脑刺激 帕金森病 适应性DBS 强化学习 多臂赌博机 神经元活动 汤普森采样 能量效率

📋 核心要点

  1. 现有的深脑刺激方法能量效率低，且存在副作用，如言语障碍，限制了其临床应用。
  2. 本文提出了一种基于上下文多臂赌博机的ε-神经汤普森采样算法，以优化刺激频率，提升治疗效果。
  3. 实验表明，ε-NeuralTS算法在模拟的BG模型中表现优于传统的cDBS方法和CMAB基线，具有更好的样本效率。

📝 摘要（中文）

深脑刺激（DBS）是缓解帕金森病（PD）运动症状的有效干预手段。传统的DBS设备只能提供固定频率的脉冲，导致能量效率低和副作用。近年来，适应性DBS（aDBS）通过强化学习（RL）方法来解决这些问题，但RL通常需要大量训练数据和计算资源。本文提出了一种基于上下文多臂赌博机（CMAB）的解决方案，定义上下文为捕捉BG区域神经元活动的信号，并引入ε-探索策略，形成ε-神经汤普森采样（ε-NeuralTS）算法。实验结果表明，该方法在能量效率和治疗效果上优于现有的cDBS方法和CMAB基线。

🔬 方法详解

问题定义：本文旨在解决传统深脑刺激方法在能量效率和副作用方面的不足，特别是固定频率刺激带来的局限性。现有的强化学习方法虽然能够适应刺激频率，但需要大量的数据和计算资源，难以实时应用。

核心思路：论文提出了一种基于上下文多臂赌博机（CMAB）的解决方案，通过定义上下文为BG区域的神经元活动信号，利用ε-探索策略来平衡探索与利用，从而优化刺激频率。

技术框架：整体架构包括信号捕捉模块、上下文定义模块和ε-神经汤普森采样算法模块。信号捕捉模块负责获取BG区域的神经元活动信号，随后通过上下文定义模块将其转化为CMAB的上下文信息，最后通过ε-神经汤普森采样算法进行决策。

关键创新：最重要的创新在于引入了ε-探索策略到经典的汤普森采样方法中，使得学习的CMAB策略在探索新频率和利用已知有效频率之间取得更好的平衡。这一设计显著提高了样本效率。

关键设计：在算法实现中，关键参数包括ε值的设置，影响探索与利用的平衡；损失函数设计用于优化刺激频率的选择；网络结构则采用了适应性调整机制，以适应不同的神经元活动模式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ε-NeuralTS算法在模拟的BG模型中，能量效率和治疗效果均优于传统的cDBS方法，且在与CMAB基线的比较中，样本效率显著提高，具体提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括帕金森病的临床治疗和其他神经系统疾病的深脑刺激技术。通过提高刺激的能量效率和治疗效果，可能会改善患者的生活质量，并降低治疗成本。未来，该方法也可扩展到其他需要实时适应的医疗设备中。

📄 摘要（原文）

Deep Brain Stimulation (DBS) stands as an effective intervention for alleviating the motor symptoms of Parkinson's disease (PD). Traditional commercial DBS devices are only able to deliver fixed-frequency periodic pulses to the basal ganglia (BG) regions of the brain, i.e., continuous DBS (cDBS). However, they in general suffer from energy inefficiency and side effects, such as speech impairment. Recent research has focused on adaptive DBS (aDBS) to resolve the limitations of cDBS. Specifically, reinforcement learning (RL) based approaches have been developed to adapt the frequencies of the stimuli in order to achieve both energy efficiency and treatment efficacy. However, RL approaches in general require significant amount of training data and computational resources, making it intractable to integrate RL policies into real-time embedded systems as needed in aDBS. In contrast, contextual multi-armed bandits (CMAB) in general lead to better sample efficiency compared to RL. In this study, we propose a CMAB solution for aDBS. Specifically, we define the context as the signals capturing irregular neuronal firing activities in the BG regions (i.e., beta-band power spectral density), while each arm signifies the (discretized) pulse frequency of the stimulation. Moreover, an ε-exploring strategy is introduced on top of the classic Thompson sampling method, leading to an algorithm called ε-Neural Thompson sampling (ε-NeuralTS), such that the learned CMAB policy can better balance exploration and exploitation of the BG environment. The ε-NeuralTS algorithm is evaluated using a computation BG model that captures the neuronal activities in PD patients' brains. The results show that our method outperforms both existing cDBS methods and CMAB baselines.