A first realization of reinforcement learning-based closed-loop EEG-TMS

📄 arXiv: 2602.06907v1 📥 PDF

作者: Dania Humaidan, Jiahua Xu, Jing Chen, Christoph Zrenner, David Emanuel Vetter, Laura Marzetti, Paolo Belardinelli, Timo Roine, Risto J. Ilmoniemi, Gian Luca Romani, Ulf Zieman

分类: cs.LG

发布日期: 2026-02-06

💡 一句话要点

首次实现基于强化学习的闭环脑电-经颅磁刺激系统，用于个性化神经调控。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脑电-经颅磁刺激 闭环系统 强化学习 mu节律 皮质脊髓兴奋性

📋 核心要点

  1. 传统TMS治疗忽略个体差异，效果有限。脑状态依赖的EEG-TMS虽有改进，但仍需用户预先指定目标相位。
  2. 本研究提出基于强化学习的闭环EEG-TMS系统，无需用户干预，自动寻找与皮质兴奋性相关的mu节律相位。
  3. 实验表明，该系统能有效识别高低兴奋性状态对应的mu节律相位，并实现对传感器运动网络功能连接的长期调控。

📝 摘要（中文）

本研究旨在实现一个基于机器学习的闭环实时脑电-经颅磁刺激（EEG-TMS）系统，以用户独立的方式识别与高低皮质脊髓兴奋性状态相关的个体mu节律相位。研究对25名参与者应用EEG-TMS，目标是辅助运动区-初级运动皮层网络，并使用强化学习算法来识别与高低兴奋性相关的mu节律相位。采用线性混合效应模型和贝叶斯分析来确定强化学习对皮质脊髓兴奋性（通过运动诱发电位幅度衡量）和功能连接（通过静息态脑电相干性的虚部衡量）的影响。结果表明，强化学习有效地识别了与高低兴奋性状态相关的mu节律相位，并且重复刺激导致刺激的传感器运动网络中的功能连接长期增加或减少。本研究首次证明了闭环EEG-TMS在人体中的可行性，这是实现脑部疾病个体化治疗的关键一步。

🔬 方法详解

问题定义：传统经颅磁刺激（TMS）治疗脑部疾病时，通常采用“一刀切”的方法，忽略了患者个体之间以及个体内部的差异，导致治疗效果不稳定。虽然脑状态依赖的脑电-经颅磁刺激（EEG-TMS）技术能够根据预先设定的mu节律相位进行刺激，但仍然依赖于用户手动指定目标相位，存在主观性和局限性。因此，需要一种能够自动、个性化地确定最佳刺激相位的闭环系统。

核心思路：本研究的核心思路是利用强化学习算法，通过实时监测脑电信号，自动寻找与高低皮质脊髓兴奋性状态相关的个体mu节律相位。通过不断地尝试和反馈，强化学习算法能够学习到最佳的刺激策略，从而实现对大脑皮层兴奋性的精确调控。这种方法无需用户预先指定目标相位，能够更好地适应个体差异，提高治疗效果。

技术框架：该闭环EEG-TMS系统的整体架构包括以下几个主要模块：1) 脑电信号采集模块：使用脑电帽实时采集参与者的脑电信号。2) 信号处理模块：对脑电信号进行预处理，提取mu节律的相位信息。3) 强化学习算法模块：使用强化学习算法，根据当前的脑电相位和刺激后的皮质脊髓兴奋性反馈，调整刺激相位。4) 经颅磁刺激模块：根据强化学习算法确定的刺激相位，对参与者进行TMS刺激。5) 皮质脊髓兴奋性评估模块：通过测量运动诱发电位（MEP）的幅度，评估刺激后的皮质脊髓兴奋性。

关键创新：本研究最重要的技术创新点在于首次将强化学习算法应用于闭环EEG-TMS系统中，实现了对个体mu节律相位的自动识别和优化。与传统的EEG-TMS方法相比，该方法无需用户预先指定目标相位，能够更好地适应个体差异，提高治疗效果。此外，该系统还能够根据刺激后的皮质脊髓兴奋性反馈，动态调整刺激策略，从而实现对大脑皮层兴奋性的精确调控。

关键设计：研究中使用的强化学习算法为未知，具体参数设置也未知。脑电信号处理方法未知。刺激目标为辅助运动区-初级运动皮层网络。通过测量运动诱发电位（MEP）的幅度来评估皮质脊髓兴奋性。

📊 实验亮点

研究结果表明，强化学习算法能够有效地识别与高低皮质脊髓兴奋性状态相关的mu节律相位。重复刺激这些相位能够导致刺激的传感器运动网络中的功能连接长期增加或减少。这些结果首次证明了闭环EEG-TMS在人体中的可行性，为个性化神经调控提供了有力的证据。

🎯 应用场景

该研究成果为脑部疾病的个性化治疗开辟了新的途径。通过闭环EEG-TMS系统，可以根据患者的个体脑电特征，自动优化刺激参数，提高治疗效果。该技术可应用于抑郁症、帕金森病、中风等多种神经系统疾病的治疗，具有广阔的应用前景和重要的临床价值。

📄 摘要（原文）

Background: Transcranial magnetic stimulation (TMS) is a powerful tool to investigate neurophysiology of the human brain and treat brain disorders. Traditionally, therapeutic TMS has been applied in a one-size-fits-all approach, disregarding inter- and intra-individual differences. Brain state-dependent EEG-TMS, such as coupling TMS with a pre-specified phase of the sensorimotor mu-rhythm, enables the induction of differential neuroplastic effects depending on the targeted phase. But this approach is still user-dependent as it requires defining an a-priori target phase. Objectives: To present a first realization of a machine-learning-based, closed-loop real-time EEG-TMS setup to identify user-independently the individual mu-rhythm phase associated with high- vs. low-corticospinal excitability states. Methods: We applied EEG-TMS to 25 participants targeting the supplementary motor area-primary motor cortex network and used a reinforcement learning algorithm to identify the mu-rhythm phase associated with high- vs. low corticospinal excitability. We employed linear mixed effects models and Bayesian analysis to determine effects of reinforced learning on corticospinal excitability indexed by motor evoked potential amplitude, and functional connectivity indexed by the imaginary part of resting-state EEG coherence. Results: Reinforcement learning effectively identified the mu-rhythm phase associated with high- vs. low-excitability states, and their repetitive stimulation resulted in long-term increases vs. decreases in functional connectivity in the stimulated sensorimotor network. Conclusions: We demonstrated for the first time the feasibility of closed-loop EEG-TMS in humans, a critical step towards individualized treatment of brain disorders.