Unsupervised learning of multiscale switching dynamical system models from multimodal neural data

📄 arXiv: 2512.12881v1 📥 PDF

作者: DongKyu Kim, Han-Lin Hsieh, Maryam M. Shanechi

分类: cs.LG, q-bio.NC, stat.ML

发布日期: 2025-12-14

备注: 30 pages, 8 figures

💡 一句话要点

提出一种无监督多尺度切换动态系统模型，用于融合多模态神经数据并解码行为。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 无监督学习 切换动态系统 神经解码 脑机接口

📋 核心要点

  1. 现有方法主要关注单一神经模态，忽略了多模态神经数据融合的潜力，且依赖于状态标签，限制了其在实际场景中的应用。
  2. 该论文提出一种无监督学习算法，通过学习切换多尺度动态系统模型，实现多模态神经数据的融合，并克服了状态标签缺失的挑战。
  3. 实验结果表明，该模型在行为解码方面优于单尺度动态模型和静态多尺度模型，验证了多尺度神经融合和状态切换建模的有效性。

📝 摘要（中文）

神经元群体活动通常表现出依赖于状态的非平稳性，即切换动态。学习精确的切换动态系统模型可以揭示行为如何在神经活动中编码。现有的切换方法主要集中于从单一神经模态（连续高斯信号或离散泊松信号）学习模型。然而，通常同时记录多种神经模态以测量不同时空尺度的脑活动，并且所有这些模态都可以编码行为。此外，状态标签在训练数据中通常不可用，这对学习依赖于状态的切换动态模型提出了重大挑战。为了应对这些挑战，我们开发了一种新的无监督学习算法，该算法仅使用多尺度神经观测来学习切换多尺度动态系统模型的参数。我们使用模拟和两个不同的实验数据集（在不同的运动任务期间具有多模态尖峰-LFP 观测）来演示我们的方法。我们发现，我们的切换多尺度动态系统模型比切换单尺度动态模型更准确地解码行为，表明多尺度神经融合的成功。此外，我们的模型优于静态多尺度模型，说明了跟踪多模态神经数据中依赖于状态的非平稳性的重要性。所开发的无监督学习框架通过利用多模态记录中的信息并结合状态切换，能够更准确地建模复杂的多尺度神经动态。这种方法有望提高脑机接口的性能和鲁棒性，并促进我们对行为的神经基础的理解。

🔬 方法详解

问题定义：现有的切换动态系统模型主要处理单一模态的神经数据，无法有效融合多模态神经记录中蕴含的丰富信息。此外，这些模型通常需要预先标注的状态标签，而在实际应用中，状态标签往往难以获取。因此，如何从无标签的多模态神经数据中学习切换动态系统模型，成为了一个亟待解决的问题。

核心思路：该论文的核心思路是利用无监督学习方法，从多模态神经数据中同时学习动态系统的参数和状态切换的规则。通过构建一个切换多尺度动态系统模型，该模型能够捕捉不同神经模态之间的相互作用，并根据神经活动的变化自动识别不同的状态。

技术框架：该方法主要包含以下几个步骤：1) 数据预处理：对多模态神经数据进行预处理，例如滤波、降噪等。2) 模型构建：构建一个切换多尺度动态系统模型，该模型包含多个动态系统，每个动态系统对应一个状态。3) 参数学习：使用无监督学习算法（例如变分推断）来学习模型的参数，包括动态系统的参数和状态切换的概率。4) 状态推断：根据学习到的模型，推断每个时间点的状态。

关键创新：该论文的关键创新在于提出了一个无监督学习框架，能够从多模态神经数据中学习切换多尺度动态系统模型。该框架不需要预先标注的状态标签，并且能够有效地融合不同神经模态的信息。此外，该模型能够捕捉神经活动中依赖于状态的非平稳性，从而更准确地建模神经动态。

关键设计：在模型设计方面，论文可能采用了变分自编码器（VAE）或类似的生成模型框架，用于学习多尺度神经数据的潜在表示。损失函数可能包含重构损失（保证数据重构的准确性）和正则化项（防止过拟合）。状态切换的概率可能通过一个隐马尔可夫模型（HMM）来建模，HMM的转移概率矩阵也需要通过无监督学习来估计。

📊 实验亮点

实验结果表明，该方法在模拟数据和真实神经数据上均取得了良好的效果。在行为解码任务中，该切换多尺度动态系统模型比切换单尺度动态模型表现更优，证明了多尺度神经融合的有效性。同时，该模型也优于静态多尺度模型，突显了跟踪神经活动中状态依赖非平稳性的重要性。具体性能提升数据未知，但整体结果表明了该方法的优越性。

🎯 应用场景

该研究成果可应用于脑机接口(BCI)领域，通过更准确地解码神经活动，提高BCI的控制精度和鲁棒性。此外，该方法还可以用于研究神经系统疾病，例如癫痫和帕金森病，通过分析神经活动中的切换动态，揭示疾病的神经机制。该研究还有助于更深入地理解大脑如何编码行为，为认知神经科学研究提供新的工具。

📄 摘要（原文）

Neural population activity often exhibits regime-dependent non-stationarity in the form of switching dynamics. Learning accurate switching dynamical system models can reveal how behavior is encoded in neural activity. Existing switching approaches have primarily focused on learning models from a single neural modality, either continuous Gaussian signals or discrete Poisson signals. However, multiple neural modalities are often recorded simultaneously to measure different spatiotemporal scales of brain activity, and all these modalities can encode behavior. Moreover, regime labels are typically unavailable in training data, posing a significant challenge for learning models of regime-dependent switching dynamics. To address these challenges, we develop a novel unsupervised learning algorithm that learns the parameters of switching multiscale dynamical system models using only multiscale neural observations. We demonstrate our method using both simulations and two distinct experimental datasets with multimodal spike-LFP observations during different motor tasks. We find that our switching multiscale dynamical system models more accurately decode behavior than switching single-scale dynamical models, showing the success of multiscale neural fusion. Further, our models outperform stationary multiscale models, illustrating the importance of tracking regime-dependent non-stationarity in multimodal neural data. The developed unsupervised learning framework enables more accurate modeling of complex multiscale neural dynamics by leveraging information in multimodal recordings while incorporating regime switches. This approach holds promise for improving the performance and robustness of brain-computer interfaces over time and for advancing our understanding of the neural basis of behavior.