Spatiotemporal System Forecasting with Irregular Time Steps via Masked Autoencoder
作者: Kewei Zhu, Yanze Xin, Jinwei Hu, Xiaoyuan Cheng, Yiming Yang, Sibo Cheng
分类: cs.LG, nlin.AO
发布日期: 2026-03-26
期刊: Physica D: Nonlinear Phenomena, 2026, 135189
DOI: 10.1016/j.physd.2026.135189
💡 一句话要点
提出Physics-Spatiotemporal Masked Autoencoder，用于预测具有不规则时间步长的高维时空系统。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 时空预测 掩码自编码器 不规则时间序列 卷积自编码器 注意力机制 动态系统 海洋预测
📋 核心要点
- 现有数据驱动算法在处理具有不规则时间步长的高维动态系统时，预测精度会显著下降。
- 论文提出Physics-Spatiotemporal Masked Autoencoder，结合卷积自编码器和掩码自编码器，利用注意力机制重建物理序列。
- 实验结果表明，该方法在预测精度、非线性鲁棒性和计算效率方面优于传统方法，无需领域知识即可捕获复杂时空模式。
📝 摘要（中文）
本文提出了一种新颖的物理时空掩码自编码器，用于预测具有不规则时间步长的高维动态系统。针对现有数据驱动算法在处理不规则时间步长数据时预测精度下降的问题，该方法结合了用于空间特征提取的卷积自编码器和针对不规则时间序列优化的掩码自编码器，并利用注意力机制在单次预测中重建整个物理序列。该模型避免了数据插补的需求，同时保持了系统的物理完整性。“物理”指的是由底层动态系统生成的高维场，而非显式的物理约束或偏微分方程残差。在多个模拟数据集和真实海洋温度数据上的评估结果表明，该方法在预测精度、非线性鲁棒性和计算效率方面均优于传统的卷积和循环网络方法。该模型无需领域知识即可捕获复杂的时空模式，在气候建模、流体动力学、海洋预测、环境监测和科学计算等领域具有应用潜力。
🔬 方法详解
问题定义：论文旨在解决高维动态系统预测中，由于不规则时间步长（例如缺失数据、稀疏观测）导致预测精度下降的问题。现有方法通常需要进行数据插补，或者难以有效捕捉时空依赖关系，尤其是在非线性较强的情况下。
核心思路：论文的核心思路是将空间特征提取与时间序列建模解耦，并利用掩码自编码器处理不规则时间步长。通过卷积自编码器提取空间特征，然后使用针对不规则时间序列优化的掩码自编码器进行时间序列建模，从而避免了数据插补的需求，并能更好地捕捉时空依赖关系。
技术框架：该方法主要包含两个模块：卷积自编码器和掩码自编码器。首先，卷积自编码器用于提取输入数据的空间特征，将高维时空数据降维到低维空间。然后，掩码自编码器接收卷积自编码器的输出，并利用注意力机制对不规则时间序列进行建模，最终预测未来的时空状态。整个过程在一个预测pass中完成，避免了迭代预测带来的误差累积。
关键创新：该方法最重要的创新在于将卷积自编码器与掩码自编码器相结合，并针对不规则时间序列进行了优化。与传统的卷积或循环神经网络方法相比，该方法能够更好地处理不规则时间步长数据，并能更有效地捕捉时空依赖关系。此外，该方法避免了数据插补的需求，从而减少了预处理步骤，并能更好地保持系统的物理完整性。
关键设计：卷积自编码器的结构可以根据具体应用进行调整，例如使用不同的卷积核大小和层数。掩码自编码器使用注意力机制来捕捉时间序列中的依赖关系，并使用掩码来处理不规则时间步长。损失函数通常包括重建损失和预测损失，用于优化模型的参数。具体的参数设置需要根据具体应用进行调整，例如学习率、批量大小等。
🖼️ 关键图片
📊 实验亮点
在多个模拟数据集和真实海洋温度数据上的实验结果表明，该方法在预测精度、非线性鲁棒性和计算效率方面均优于传统的卷积和循环网络方法。具体性能数据未知，但摘要强调了显著的改进，表明该方法在处理不规则时空数据方面具有明显优势。
🎯 应用场景
该研究成果可广泛应用于气候建模、流体动力学、海洋预测、环境监测和科学计算等领域。例如，可以用于预测海洋温度变化、模拟气候变化趋势、监测环境污染扩散等。该方法无需领域知识即可捕获复杂的时空模式，具有很高的应用价值和潜力，未来可进一步扩展到其他具有不规则时间步长数据的时空系统预测问题。
📄 摘要（原文）
Predicting high-dimensional dynamical systems with irregular time steps presents significant challenges for current data-driven algorithms. These irregularities arise from missing data, sparse observations, or adaptive computational techniques, reducing prediction accuracy. To address these limitations, we propose a novel method: a Physics-Spatiotemporal Masked Autoencoder. This method integrates convolutional autoencoders for spatial feature extraction with masked autoencoders optimised for irregular time series, leveraging attention mechanisms to reconstruct the entire physical sequence in a single prediction pass. The model avoids the need for data imputation while preserving physical integrity of the system. Here, 'physics' refers to high-dimensional fields generated by underlying dynamical systems, rather than the enforcement of explicit physical constraints or PDE residuals. We evaluate this approach on multiple simulated datasets and real-world ocean temperature data. The results demonstrate that our method achieves significant improvements in prediction accuracy, robustness to nonlinearities, and computational efficiency over traditional convolutional and recurrent network methods. The model shows potential for capturing complex spatiotemporal patterns without requiring domain-specific knowledge, with applications in climate modelling, fluid dynamics, ocean forecasting, environmental monitoring, and scientific computing.