State Estimation Using Sparse DEIM and Recurrent Neural Networks

📄 arXiv: 2410.15982v3 📥 PDF

作者: Mohammad Farazmand

分类: math.DS, cs.LG, math.NA, nlin.CD

发布日期: 2024-10-21 (更新: 2026-01-29)

备注: Accepted for publication in Proc. Royal Soc. A

💡 一句话要点

提出基于RNN的无方程S-DEIM方法，用于动态系统状态估计，无需系统方程知识。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 状态估计 稀疏数据 循环神经网络 S-DEIM 无方程建模

📋 核心要点

  1. 传统S-DEIM状态估计依赖于系统控制方程，且数据同化过程难以保证收敛到最优核向量。
  2. 提出一种无方程S-DEIM框架，利用RNN从稀疏时间序列观测中学习最优核向量，无需系统方程。
  3. 实验表明，该方法在多种复杂系统上有效，与Q-DEIM相比，相对误差降低了42%到58%。

📝 摘要（中文）

本文提出了一种无方程的稀疏离散经验插值法（S-DEIM）框架，用于动态系统中的状态估计，该方法仅需观测到状态变量的稀疏子集。S-DEIM估计涉及一个核向量，其最优值通过数据同化算法推断。然而，传统的数据同化步骤存在两个缺点：（i）需要知道动态系统的控制方程；（ii）通常不能保证收敛到最优核向量。为了解决这些问题，我们引入了一种无方程的S-DEIM框架，该框架使用循环神经网络（RNN）从稀疏观测时间序列中估计最优核向量。我们证明了循环架构是必要的，因为核向量无法从瞬时观测中估计。RNN通过将观测的历史信息纳入学习过程，从而实现接近最优的估计。我们在三个具有不同时空复杂度的数值例子上验证了该方法的有效性：Lorenz-96系统、Kuramoto-Sivashinsky方程和Rayleigh-Benard对流。在每种情况下，即使使用相对简单的RNN架构（即储层计算网络），所得到的S-DEIM估计也是令人满意的。更具体地说，与忽略核向量并将其设置为零的Q-DEIM相比，我们基于RNN的S-DEIM状态估计将相对误差降低了42%到58%。

🔬 方法详解

问题定义：论文旨在解决动态系统中状态变量的估计问题，尤其是在只能观测到状态变量的稀疏子集的情况下。现有的S-DEIM方法依赖于对系统控制方程的精确了解，并且其数据同化步骤无法保证收敛到最优的核向量，这限制了其在实际应用中的有效性。

核心思路：论文的核心思路是利用循环神经网络（RNN）来学习S-DEIM中的最优核向量，而无需显式地知道系统的控制方程。RNN能够捕捉时间序列数据中的动态信息，从而可以从稀疏的观测数据中推断出核向量的最优值。这种方法避免了传统数据同化算法的局限性，并提高了状态估计的准确性和鲁棒性。

技术框架：该方法主要包含以下几个步骤：1) 使用稀疏观测数据作为输入；2) 利用RNN（例如储层计算网络）学习核向量；3) 将学习到的核向量应用于S-DEIM框架，以估计系统的完整状态。整个框架是无方程的，这意味着它不需要知道系统的控制方程。

关键创新：该方法最重要的创新点在于使用RNN来学习S-DEIM中的核向量，从而避免了对系统控制方程的依赖。与传统的S-DEIM方法相比，该方法更加灵活和通用，可以应用于更广泛的动态系统。此外，该方法还能够从稀疏的观测数据中有效地估计系统的状态，这在实际应用中非常重要。

关键设计：论文使用了储层计算网络作为RNN的实现。储层计算网络是一种简单而有效的RNN架构，它包含一个随机初始化的固定储层和一个可训练的输出层。论文中没有详细说明具体的损失函数，但可以推断是基于估计状态与真实状态之间的误差来定义的。关键参数包括储层的大小、连接权重和输出层的学习率。具体网络结构的选择和参数调整可能需要根据具体的应用场景进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于RNN的S-DEIM方法在Lorenz-96系统、Kuramoto-Sivashinsky方程和Rayleigh-Benard对流等多个复杂系统上均取得了显著的性能提升。与忽略核向量的Q-DEIM方法相比，该方法将状态估计的相对误差降低了42%到58%，验证了该方法的有效性和优越性。即使使用相对简单的储层计算网络，也能获得令人满意的结果。

🎯 应用场景

该研究成果可广泛应用于需要从稀疏数据中进行状态估计的领域，例如大气科学、流体动力学、生物系统建模等。在这些领域中，获取完整状态信息往往非常困难，而该方法能够利用有限的观测数据进行准确的状态估计，具有重要的实际价值和应用前景。未来，该方法可以进一步扩展到更复杂的系统和更高维度的数据。

📄 摘要（原文）

Sparse Discrete Empirical Interpolation Method (S-DEIM) was recently proposed for state estimation in dynamical systems when only a sparse subset of the state variables can be observed. The S-DEIM estimate involves a kernel vector whose optimal value is inferred through a data assimilation algorithm. This data assimilation step suffers from two drawbacks: (i) It requires the knowledge of the governing equations of the dynamical system, and (ii) It is not generally guaranteed to converge to the optimal kernel vector. To address these issues, here we introduce an equation-free S-DEIM framework that estimates the optimal kernel vector from sparse observational time series using recurrent neural networks (RNNs). We show that the recurrent architecture is necessary since the kernel vector cannot be estimated from instantaneous observations. But RNNs, which incorporate the past history of the observations in the learning process, lead to nearly optimal estimations. We demonstrate the efficacy of our method on three numerical examples with increasing degree of spatiotemporal complexity: a conceptual model of atmospheric flow known as the Lorenz-96 system, the Kuramoto-Sivashinsky equation, and the Rayleigh-Benard convection. In each case, the resulting S-DEIM estimates are satisfactory even when a relatively simple RNN architecture, namely the reservoir computing network, is used. More specifically, our RNN-based S-DEIM state estimations reduce the relative error between 42% and 58% when compared to Q-DEIM which ignores the kernel vector by setting it equal to zero.