A Minimal Interpretable Architecture for Zero-Shot Reconstruction of Dynamical Systems

📄 arXiv: 2607.14937v1 📥 PDF

作者: Christoph Jürgen Hemmer, Florian Plaswig, Daniel Durstewitz

分类: cs.LG, cs.AI, math.DS, nlin.CD

发布日期: 2026-07-16

💡 一句话要点

提出DynaBase以解决动态系统零-shot重建问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态系统 零-shot重建 可解释性 模型简化 预测优化

📋 核心要点

  1. 现有的动态系统重建模型虽然在泛化能力上表现良好，但缺乏对其内部机制的深入理解，导致模型复杂性过高。
  2. 本文提出DynaBase模型，通过线性混合当前状态和上下文邻居，简化了动态系统的重建过程，揭示了最小的学习机制。
  3. DynaBase在多个动态系统上展现出竞争力的重建效果，参数负载显著低于其他模型，且支持直接优化和解析解的求解。

📝 摘要（中文）

近年来，针对动态系统的零-shot重建的基础模型在领域外泛化能力上表现出色，但对其预测机制的理解却相对不足。本文通过逐步简化现有的强大模型DynaMix，提出了一种最小可解释的两参数模型DynaBase。DynaBase通过当前潜在状态与最近上下文邻居及其时间后继的线性混合来生成预测。尽管其设计极为简单，DynaBase在混沌和周期性系统的零-shot重建中表现出竞争力，且参数负载远低于其他基础模型。此外，该模型允许在动态系统重建度量上进行直接优化，并提供了一步闭式解析解。理论和实证分析进一步揭示了一个一参数映射族，涵盖了文献中不同观察结果的统一。

🔬 方法详解

问题定义：本文旨在解决动态系统的零-shot重建问题，现有方法的复杂性和缺乏可解释性是主要痛点。

核心思路：提出DynaBase模型，通过极简的两参数设计，利用线性混合当前状态与上下文邻居来进行预测，旨在揭示动态系统重建的最小机制。

技术框架：DynaBase的整体架构包括两个主要模块：当前潜在状态的获取和最近邻居的线性混合。该模型通过简单的参数设置实现高效的预测。

关键创新：DynaBase的最大创新在于其极简的结构和参数设置，显著降低了模型复杂性，同时保持了竞争力的重建性能，与现有复杂模型形成鲜明对比。

关键设计：DynaBase使用两个参数进行建模，损失函数设计为直接优化动态系统重建度量，网络结构简化为线性组合，确保了高效的计算和可解释性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DynaBase在多个混沌和周期性动态系统上实现了零-shot重建，表现出与复杂模型相当的效果，且参数负载减少了多个数量级。实验结果表明，该模型在动态系统重建度量上具有显著的优化能力，提供了一步闭式解析解，进一步验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括动态系统建模、预测和控制等，尤其适用于需要快速响应和高效计算的场景。DynaBase的简化设计使其在资源受限的环境中也能有效运行，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Recent foundation models (FMs) for zero-shot reconstruction of dynamical systems (DS) achieve strong out-of-domain generalization but provide little insight into the mechanisms that underlie their forecasts. Such an understanding could help to strip down overladen FM architectures to their bare essence and expose the minimal requirements for in-context learning in the DS domain. Toward this goal, here we iteratively reduce a recent powerful SOTA model for DS reconstruction, DynaMix (Hemmer & Durstewitz, 2025), to a minimal interpretable two-parameter form, which we call DynaBase. DynaBase produces forecasts through a linear blend of the current latent state and the nearest in-context neighbor and its temporal successor. Surprisingly, despite its extreme simplicity, DynaBase produces highly competitive zero-shot DS reconstructions across chaotic and cyclic systems, with a negligible parameter load, many orders of magnitude below that of other FMs. Even more, this extreme simplicity permits direct model optimization on DS reconstruction measures, as well as closed-form one-step analytical solutions on prediction MSE. Theoretical and empirical analysis of DynaBase further leads to a 1-parameter family of maps, with the context-parroting algorithm of (Zhang & Gilpin, 2026) recovered at one end, and chaotic (divergent but bounded) behavior at the other. We further show how different training strategies lead to models either optimal for short-term prediction or for DS reconstruction. Thus, DynaBase not only exposes the minimal mechanisms required for producing zero-shot DS reconstruction, but also reconciles within an accessible mathematical frame divergent observations in the literature.