Towards Fast Coarse-graining and Equation Discovery with Foundation Inference Models

📄 arXiv: 2510.12618v2 📥 PDF

作者: Manuel Hinz, Maximilian Mauel, Patrick Seifner, David Berghaus, Kostadin Cvejoski, Ramses J. Sanchez

分类: cs.LG

发布日期: 2025-10-14 (更新: 2026-01-20)

💡 一句话要点

利用预训练Foundation Inference Models加速粗粒化和方程发现

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 粗粒化 方程发现 Foundation Inference Models 动态系统 表征学习

📋 核心要点

  1. 现有方法在进行粗粒化和方程发现时，通常需要联合训练自编码器和动态一致性模型，计算成本高昂且不稳定。
  2. 该论文提出利用预训练的Foundation Inference Models (FIMs)，通过冻结FIM的权重，仅训练编码器-解码器映射，从而解耦粗粒化变量发现和方程拟合。
  3. 在随机双阱系统上的实验表明，该方法能够实现快速且可复用的粗粒化流程，验证了其在动态系统建模中的潜力。

📝 摘要（中文）

高维动态过程的记录通常可以用一组更小的有效变量来描述，这些变量在低维流形上演化。识别这些潜在动态需要解决两个相互交织的问题：发现合适的粗粒化变量，并同时拟合控制方程。大多数机器学习方法通过训练自编码器以及强制动态一致性的模型来共同解决这些任务。我们提出通过利用最近引入的Foundation Inference Models (FIMs)来解耦这两个问题。FIMs是预训练模型，以零样本模式估计动态系统的无穷小生成元（例如，随机微分方程的漂移和扩散）。通过使用权重冻结的FIM来分摊动态推断，并仅训练编码器-解码器映射，我们定义了一个简单的、与模拟一致的损失，从而稳定了表征学习。在嵌入到合成视频数据中的具有半圆扩散的随机双阱系统上的概念验证，说明了这种方法在快速和可重用的粗粒化管道中的潜力。

🔬 方法详解

问题定义：论文旨在解决从高维动态数据中自动发现低维有效变量及其演化方程的问题。现有方法，如基于自编码器的联合训练方法，计算成本高，训练不稳定，难以泛化到新的动态系统。

核心思路：核心思路是利用预训练的Foundation Inference Models (FIMs)来分摊动态推断的计算负担。FIMs能够以零样本的方式估计动态系统的无穷小生成元，从而避免了每次针对特定系统都从头开始训练动态模型。通过冻结FIM的权重，只训练编码器-解码器映射，可以有效地解耦表征学习和动态建模，提高训练效率和稳定性。

技术框架：整体框架包含以下几个主要步骤：1) 使用编码器将高维观测数据映射到低维潜在空间；2) 使用预训练的FIM估计潜在空间中的动态系统的无穷小生成元；3) 使用解码器将潜在空间中的表示重构回原始高维空间；4) 定义一个模拟一致性损失函数，该损失函数鼓励潜在空间中的动态与原始高维数据中的动态保持一致。通过最小化该损失函数，可以优化编码器和解码器，从而学习到合适的粗粒化变量。

关键创新：最重要的创新点在于利用预训练的FIM来分摊动态推断的计算负担，从而解耦了表征学习和动态建模。与现有方法相比，该方法避免了联合训练的复杂性和不稳定性，提高了训练效率和泛化能力。

关键设计：关键设计包括：1) 使用预训练的FIM作为动态推断的先验知识；2) 设计一个模拟一致性损失函数，该损失函数鼓励潜在空间中的动态与原始高维数据中的动态保持一致；3) 冻结FIM的权重，只训练编码器和解码器，从而避免了对FIM的微调，保证了其泛化能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该论文在合成的随机双阱系统上进行了实验验证。实验结果表明，该方法能够有效地学习到潜在空间中的动态，并能够准确地重构原始高维数据。与传统的自编码器方法相比，该方法训练速度更快，且能够更好地泛化到新的动态系统。

🎯 应用场景

该研究成果可应用于多个领域，例如分子动力学模拟、气候建模、流体动力学等。通过自动发现这些复杂系统中起主导作用的低维变量及其演化方程，可以简化模型，加速模拟，并更好地理解系统的行为。此外，该方法还可以用于控制和优化动态系统。

📄 摘要（原文）

High-dimensional recordings of dynamical processes are often characterized by a much smaller set of effective variables, evolving on low-dimensional manifolds. Identifying these latent dynamics requires solving two intertwined problems: discovering appropriate coarse-grained variables and simultaneously fitting the governing equations. Most machine learning approaches tackle these tasks jointly by training autoencoders together with models that enforce dynamical consistency. We propose to decouple the two problems by leveraging the recently introduced Foundation Inference Models (FIMs). FIMs are pretrained models that estimate the infinitesimal generators of dynamical systems (e.g., the drift and diffusion of a stochastic differential equation) in zero-shot mode. By amortizing the inference of the dynamics through a FIM with frozen weights, and training only the encoder-decoder map, we define a simple, simulation-consistent loss that stabilizes representation learning. A proof of concept on a stochastic double-well system with semicircle diffusion, embedded into synthetic video data, illustrates the potential of this approach for fast and reusable coarse-graining pipelines.