Identifying ODEs from Unstructured Data with Causal Representation Learning

📄 arXiv: 2609.37083v1 📥 PDF

作者: Alessandro Trenta, Riccardo Massidda, Davide Bacciu, Sara Magliacane

分类: cs.LG, cs.AI, stat.ML

发布日期: 2026-09-29

💡 一句话要点

提出SPEED-AE以从无结构数据中识别常微分方程

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 常微分方程 因果表示学习 自编码器 稀疏发现 高维数据 动力系统建模 机器学习

📋 核心要点

  1. 现有的ODE发现方法通常依赖于直接测量变量，缺乏对学习变量和方程的理论保证，限制了其应用。
  2. 本文提出的SPEED-AE框架结合了因果表示学习和自编码器，旨在通过学习变量变换来提高稀疏ODE发现的效果。
  3. 实验结果显示，SPEED-AE在Lotka-Volterra、Lorenz和双摆系统上均优于现有CRL方法，恢复的ODE接近真实值，且预测性能达到最新水平。

📝 摘要（中文）

本研究探讨了从无结构的高维观测数据（如图像）中恢复动力系统的常微分方程（ODE）的问题。现有的ODE发现方法通常假设变量的直接测量，或未能提供对学习变量和方程的理论保证。虽然因果表示学习（CRL）方法在高维观测中识别变量提供了保证，但这些变量通常不能直接用于方程发现方法。为此，本文提出了稀疏等效方程发现自编码器（SPEED-AE），该框架结合了预训练的CRL方法与组件自编码器，学习适合稀疏ODE发现的变量变换。实验表明，SPEED-AE在分离性和ODE恢复上均优于现有方法，并在预测性能上达到了最新水平。

🔬 方法详解

问题定义：本文旨在解决从无结构高维数据中恢复常微分方程（ODE）的问题。现有方法通常假设变量的直接测量，或无法提供对学习变量和方程的理论保证，导致识别的准确性和可靠性不足。

核心思路：论文提出的SPEED-AE框架通过结合预训练的因果表示学习（CRL）方法与组件自编码器，学习适合稀疏ODE发现的变量变换，从而提高ODE的识别能力。

技术框架：SPEED-AE框架主要包括两个模块：首先，利用CRL方法识别高维观测中的潜在变量；其次，使用自编码器对这些变量进行变换，以便于后续的稀疏ODE发现。

关键创新：SPEED-AE的核心创新在于通过引入自编码器对CRL识别的变量进行变换，限制了变量的可识别性，从多项式到单项式微分同胚，显著提高了ODE的恢复精度。

关键设计：在设计上，SPEED-AE采用了特定的损失函数以优化变量变换的稀疏性，并通过调整网络结构来增强模型对复杂动力系统的适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SPEED-AE在Lotka-Volterra、Lorenz和双摆系统上均成功恢复了接近真实的ODE，且在预测性能上超越了现有的CRL方法，显示出显著的提升幅度，达到了最新的预测性能标准。

🎯 应用场景

该研究的潜在应用领域包括物理系统建模、生物系统动态分析以及工程系统优化等。通过从无结构数据中准确恢复ODE，研究者可以更好地理解和预测复杂系统的行为，具有重要的实际价值和未来影响。

📄 摘要（原文）

We study the problem of recovering the governing ODE of a dynamical system from unstructured, high-dimensional observations such as images. Existing methods for ODE discovery typically assume direct measurements of the variables, or do not provide theoretical guarantees on the learned variables and equations. While Causal Representation Learning (CRL) methods provide guarantees on identifying variables from high-dimensional observations up to component-wise diffeomorphisms, we show that in general these variables cannot be used directly as input to equation discovery methods, which typically assume that the variables will lead to sparse equations. So we introduce SParse Equivalent Equation Discovery AutoEncoder (SPEED-AE), a framework that combines a pretrained CRL method with a component-wise autoencoder that learns transformations of variables that are amenable to sparse ODE discovery. We show that for polynomial ODEs, this additional step allows us to restrict the identifiability of each variable from polynomial to monomial diffeomorphisms. Experiments on Lotka-Volterra, Lorenz, and a two-pendulum system show that SPEED-AE improves on the disentanglement of the CRL methods and that it recovers ODEs that are closest to the ground truth, while achieving state-of-the-art forecasting performance.