Pre-trained Transformer-models using chronic invasive electrophysiology for symptom decoding without patient-individual training

📄 arXiv: 2508.10160v1 📥 PDF

作者: Timon Merk, Saeed Salehi, Richard M. Koehler, Qiming Cui, Maria Olaru, Amelia Hahn, Nicole R. Provenza, Simon Little, Reza Abbasi-Asl, Phil A. Starr, Wolf-Julian Neumann

分类: cs.HC, cs.LG

发布日期: 2025-08-13

备注: 5 pages, 6 figures

💡 一句话要点

提出基于预训练Transformer模型的症状解码方法以解决个体化训练问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经解码 深脑刺激 预训练模型 个体化医疗 Transformer 症状解码 机器学习

📋 核心要点

  1. 现有方法在神经解码中通常需要个体化训练，限制了其广泛应用。
  2. 本文提出了一种基于预训练Transformer模型的解码方法，能够在无个体化训练的情况下进行症状解码。
  3. 实验结果表明，该方法在解码帕金森病症状时表现优异，且具有较高的泛化能力。

📝 摘要（中文）

神经解码病理和生理状态能够实现个体化的闭环神经调节治疗。近期预训练的大规模基础模型为无个体化训练的状态估计提供了可能性。本文展示了一种基于慢性纵向深脑刺激记录的基础模型，该模型训练时间超过24天，能够适应长期症状波动，扩展上下文窗口至30分钟。此外，提出了一种针对神经电生理数据的优化预训练损失函数，以纠正常见掩蔽自编码器损失函数因1-over-f功率法则导致的频率偏差。通过下游任务展示了在不进行个体化训练的情况下，利用留一法交叉验证解码帕金森病症状的能力。

🔬 方法详解

问题定义：本文旨在解决现有神经解码方法需要个体化训练的问题，这限制了其在临床中的应用和推广。现有方法通常依赖于患者个体数据进行训练，导致模型泛化能力不足。

核心思路：论文提出了一种基于预训练Transformer模型的解码方法，利用慢性深脑刺激记录进行训练，能够在不依赖个体化数据的情况下实现症状解码。通过优化损失函数，提升了模型对神经电生理数据的适应性。

技术框架：整体架构包括数据收集、预训练模型构建、损失函数优化和下游任务解码四个主要模块。数据收集阶段使用慢性深脑刺激记录，模型构建阶段采用Transformer架构，损失函数优化则针对频率偏差进行调整。

关键创新：最重要的技术创新在于提出了一种优化的预训练损失函数，能够有效纠正常见掩蔽自编码器损失函数的频率偏差问题。这一创新使得模型在处理神经电生理数据时表现出更好的性能。

关键设计：在损失函数设计上，考虑了1-over-f功率法则的影响，确保模型在训练过程中能够更好地适应不同频率的信号。此外，模型的上下文窗口被扩展至30分钟，以捕捉长期症状波动。

📊 实验亮点

实验结果显示，使用留一法交叉验证的方式，模型在解码帕金森病症状时表现出色，准确率显著高于传统方法，验证了其在无个体化训练情况下的有效性和泛化能力。

🎯 应用场景

该研究的潜在应用领域包括神经调节治疗、神经科学研究和个体化医疗。通过实现无个体化训练的症状解码，能够为临床提供更高效的治疗方案，提升患者的生活质量。未来，该方法有望在其他神经疾病的解码和治疗中得到应用。

📄 摘要（原文）

Neural decoding of pathological and physiological states can enable patient-individualized closed-loop neuromodulation therapy. Recent advances in pre-trained large-scale foundation models offer the potential for generalized state estimation without patient-individual training. Here we present a foundation model trained on chronic longitudinal deep brain stimulation recordings spanning over 24 days. Adhering to long time-scale symptom fluctuations, we highlight the extended context window of 30 minutes. We present an optimized pre-training loss function for neural electrophysiological data that corrects for the frequency bias of common masked auto-encoder loss functions due to the 1-over-f power law. We show in a downstream task the decoding of Parkinson's disease symptoms with leave-one-subject-out cross-validation without patient-individual training.