Sample-Efficient Reinforcement Learning Controller for Deep Brain Stimulation in Parkinson's Disease

📄 arXiv: 2507.06326v1 📥 PDF

作者: Harsh Ravivarapu, Gaurav Bagwe, Xiaoyong Yuan, Chunxiu Yu, Lan Zhang

分类: cs.LG, cs.AI, eess.SY, q-bio.NC

发布日期: 2025-07-08

备注: Accepted by IEEE IMC 2025

💡 一句话要点

提出SEA-DBS，一种用于帕金森病DBS的样本高效强化学习控制器

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度脑刺激 帕金森病 强化学习 自适应控制 样本高效 Gumbel Softmax 神经调节

📋 核心要点

  1. 传统DBS系统缺乏适应性与个性化，且能耗高，而基于强化学习的aDBS方法存在样本效率低、探索不稳定等问题。
  2. SEA-DBS通过集成预测奖励模型减少对实时反馈的依赖，并采用Gumbel Softmax探索策略，实现稳定可微的二元动作空间策略更新。
  3. 实验表明，SEA-DBS在帕金森病基底神经节模拟中表现出更快的收敛速度和更强的β波段抑制，并对量化具有鲁棒性。

📝 摘要（中文）

深度脑刺激(DBS)是帕金森病(PD)的一种成熟疗法，但传统的开环系统缺乏适应性，由于持续刺激导致能源效率低下，并且对个体神经动力学的个性化程度有限。自适应DBS(aDBS)提供了一种闭环替代方案，它使用诸如β波段振荡等生物标志物来动态调节刺激。虽然强化学习(RL)在个性化aDBS控制方面具有前景，但现有方法存在样本复杂度高、二元动作空间中的探索不稳定以及在资源受限硬件上的部署受限等问题。我们提出了SEA-DBS，一个样本高效的actor-critic框架，旨在解决基于RL的自适应神经刺激的核心挑战。SEA-DBS集成了预测奖励模型，以减少对实时反馈的依赖，并采用基于Gumbel Softmax的探索，以实现二元动作空间中稳定、可微的策略更新。这些组件共同提高了样本效率、探索鲁棒性以及与资源受限的神经调节硬件的兼容性。我们在帕金森病基底神经节活动的生物学逼真模拟中评估了SEA-DBS，证明了更快的收敛速度、对病理性β波段功率的更强抑制以及对训练后FP16量化的弹性。我们的结果表明，SEA-DBS为实时、资源受限的神经调节提供了一个实用且有效的基于RL的aDBS框架。

🔬 方法详解

问题定义：论文旨在解决帕金森病深度脑刺激(DBS)中，传统开环DBS系统缺乏适应性和个性化，以及现有强化学习(RL)方法样本效率低、探索不稳定、难以部署在资源受限硬件上的问题。现有方法依赖大量实时反馈，探索策略在二元动作空间中不稳定，且计算复杂度高，不适合实时神经调节。

核心思路：SEA-DBS的核心思路是通过引入预测奖励模型来减少对实时反馈的依赖，从而提高样本效率。同时，采用Gumbel Softmax探索策略，使得在二元动作空间中的策略更新更加稳定和可微，从而改善探索的鲁棒性。这种设计旨在使RL控制策略更易于在资源受限的神经调节硬件上部署。

技术框架：SEA-DBS是一个基于Actor-Critic的强化学习框架，包含以下主要模块：1) Actor网络，负责生成刺激策略；2) Critic网络，负责评估策略的价值；3) 预测奖励模型，用于预测给定状态和动作下的奖励，减少对真实环境反馈的依赖；4) Gumbel Softmax层，用于在二元动作空间中进行稳定和可微的探索。整体流程是：Actor根据当前状态生成动作，预测奖励模型预测奖励，Critic评估价值，然后利用Gumbel Softmax进行探索，并更新Actor和Critic网络。

关键创新：SEA-DBS的关键创新在于：1) 引入了预测奖励模型，显著减少了对真实环境反馈的依赖，从而提高了样本效率；2) 采用了Gumbel Softmax探索策略，解决了二元动作空间中探索不稳定和策略更新不可微的问题，提高了探索的鲁棒性；3) 框架设计考虑了资源受限硬件的部署需求，具有良好的兼容性。

关键设计：预测奖励模型采用神经网络进行训练，输入为状态和动作，输出为预测奖励。Gumbel Softmax的温度参数控制探索的程度，需要仔细调整。Actor和Critic网络采用常见的神经网络结构，损失函数采用标准的Actor-Critic损失函数，并加入正则化项以防止过拟合。实验中使用了FP16量化来模拟资源受限硬件的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SEA-DBS在帕金森病基底神经节模拟中，相较于传统RL方法，收敛速度更快，对病理性β波段功率的抑制更强。此外，SEA-DBS对训练后FP16量化具有良好的鲁棒性，表明其在资源受限硬件上的部署潜力。具体性能数据未知，但整体效果优于现有方法。

🎯 应用场景

SEA-DBS具有广泛的应用前景，可用于开发更智能、更个性化的帕金森病DBS系统。该方法还可以推广到其他神经系统疾病的闭环神经调节，例如癫痫、抑郁症等。通过降低样本复杂度和提高部署可行性，SEA-DBS有望加速自适应神经刺激技术的临床转化，改善患者的生活质量。

📄 摘要（原文）

Deep brain stimulation (DBS) is an established intervention for Parkinson's disease (PD), but conventional open-loop systems lack adaptability, are energy-inefficient due to continuous stimulation, and provide limited personalization to individual neural dynamics. Adaptive DBS (aDBS) offers a closed-loop alternative, using biomarkers such as beta-band oscillations to dynamically modulate stimulation. While reinforcement learning (RL) holds promise for personalized aDBS control, existing methods suffer from high sample complexity, unstable exploration in binary action spaces, and limited deployability on resource-constrained hardware. We propose SEA-DBS, a sample-efficient actor-critic framework that addresses the core challenges of RL-based adaptive neurostimulation. SEA-DBS integrates a predictive reward model to reduce reliance on real-time feedback and employs Gumbel Softmax-based exploration for stable, differentiable policy updates in binary action spaces. Together, these components improve sample efficiency, exploration robustness, and compatibility with resource-constrained neuromodulatory hardware. We evaluate SEA-DBS on a biologically realistic simulation of Parkinsonian basal ganglia activity, demonstrating faster convergence, stronger suppression of pathological beta-band power, and resilience to post-training FP16 quantization. Our results show that SEA-DBS offers a practical and effective RL-based aDBS framework for real-time, resource-constrained neuromodulation.