Efficient Learning of Deep State Space Models via Importance Smoothing

📄 arXiv: 2605.21108v1 📥 PDF

作者: John-Joseph Brady, Nikolas Nusken, Yunpeng Li

分类: cs.LG, cs.AI

发布日期: 2026-05-20

备注: Accepted to the proceedings of ICML 2026

💡 一句话要点

提出并行变分蒙特卡洛(PVMC)方法，高效训练深度状态空间模型(DSSM)

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度状态空间模型 变分推理 序列蒙特卡洛 并行计算 时间序列建模

📋 核心要点

  1. 深度状态空间模型(DSSM)训练面临挑战，现有基于序列蒙特卡洛(SMC)的方法难以在现代硬件上高效扩展。
  2. 论文提出并行变分蒙特卡洛(PVMC)方法，结合变分推理和蒙特卡洛，旨在弥合生成式和判别式DSSM训练的差距。
  3. 实验结果表明，PVMC方法在基准测试中达到或超过了现有最佳水平，并且训练速度比最快的SMC方法快10倍。

📝 摘要（中文）

潜在状态空间系统在统计建模中普遍存在，当通过噪声测量函数观察时间序列时，它们自然出现。然而，大规模训练深度状态空间模型（DSSM）仍然很困难。围绕DSSM的训练，已经发展出两种截然不同的策略和文献。首先，自编码DSSM通过优化变分下界来训练生成式DSSM。其次，通过反向传播经典序列蒙特卡洛算法（SMC）的输出来训练DSSM。这种方法可以训练用于判别和生成任务的DSSM，但是，由于其前向传递的顺序性，在现代硬件上的扩展性较差。我们提出了一种新的训练方法——并行变分蒙特卡洛（PVMC），它弥合了这两种范例之间的差距，并且可以稳健地用于训练判别和生成任务的DSSM。我们的方法在一组基准实验中实现了最先进或更好的结果，并且比最快的竞争SMC方法快10倍。

🔬 方法详解

问题定义：论文旨在解决深度状态空间模型(DSSM)训练效率低下的问题。现有的基于序列蒙特卡洛(SMC)的训练方法，由于其固有的顺序性，难以充分利用现代并行计算硬件，导致训练速度慢，扩展性差。此外，基于变分自编码器的DSSM训练方法虽然可以并行化，但在处理复杂动态系统时可能存在建模能力不足的问题。

核心思路：论文的核心思路是结合变分推理和蒙特卡洛方法，提出一种新的训练框架——并行变分蒙特卡洛(PVMC)。PVMC通过变分推理学习一个近似后验分布，然后使用蒙特卡洛方法对该后验分布进行采样，从而实现并行化。这种方法既能利用变分推理的效率，又能保持蒙特卡洛方法的准确性。

技术框架：PVMC的整体框架包含以下几个主要阶段：1) 使用变分自编码器(VAE)学习状态转移和观测模型；2) 使用重要性采样从变分后验分布中抽取样本；3) 使用重加权后的样本计算损失函数，并反向传播更新模型参数。该框架允许在多个粒子上并行执行蒙特卡洛采样，从而显著提高训练速度。

关键创新：PVMC的关键创新在于将变分推理和蒙特卡洛方法有效地结合起来，实现了一种可并行化的DSSM训练方法。与传统的SMC方法相比，PVMC避免了顺序依赖，可以充分利用GPU等并行计算资源。与纯粹的变分自编码器方法相比，PVMC通过蒙特卡洛采样提高了后验推断的准确性。

关键设计：PVMC的关键设计包括：1) 使用循环神经网络(RNN)作为状态转移和观测模型，以捕捉时间序列的动态特性；2) 使用高斯分布作为变分后验分布，并使用均值和方差作为变分参数；3) 使用重加权后的样本计算变分下界(ELBO)作为损失函数，并使用Adam优化器更新模型参数。论文还探讨了不同的重要性采样策略对训练效果的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PVMC方法在多个基准数据集上取得了state-of-the-art或更好的结果。例如，在某些数据集上，PVMC方法比最快的竞争SMC方法快10倍。此外，PVMC方法在判别和生成任务上均表现出色，证明了其通用性和鲁棒性。

🎯 应用场景

该研究成果可广泛应用于时间序列建模、动态系统识别、机器人控制、金融预测等领域。PVMC方法能够高效训练复杂的DSSM，从而提升模型在这些领域的预测精度和泛化能力。未来，该方法有望推动相关领域的发展，例如开发更智能的机器人、更精准的金融预测模型等。

📄 摘要（原文）

Latent state space systems are ubiquitous in statistical modelling, arising naturally when a time series is observed through a noisy measurement function, however training deep state space models (DSSM) at scale remains difficult. Two largely distinct strategies and literatures have developed around the training of DSSMs. Firstly, auto-encoding DSSMs train generative DSSMs by optimising a variational lower bound. Secondly, DSSMs trained by back-propagating the outputs of a classical sequential Monte Carlo algorithm (SMC). Such approaches can train DSSMs for discriminative as well as generative tasks, however, due to the sequentiality of their forward pass, scale poorly on modern hardware. We propose a new training method \emph{parallel variational Monte Carlo} (PVMC) that bridges the gap between the paradigms, and can be used robustly to train DSSMs for both discriminative and generative tasks. Our method achieves state-of-the-art or better results on a set of baseline experiments and trains $10\times$ faster than the fastest competing SMC approach.