Beyond Local Accuracy: Benchmarking the Rollout Reliability of PDE Foundation Models

📄 arXiv: 2610.31935v1 📥 PDF

作者: Jaewan Park, Seid Koric, Giri Krishnan, Sudhakar Pamidighantam, Surresh Marru

分类: cs.LG

发布日期: 2026-10-22

💡 一句话要点

提出PDE基础模型的长期可靠性评估方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: PDE基础模型 误差放大 长期预测 短期准确性 模型评估 数据集比较 流体动力学 工程模拟

📋 核心要点

  1. 现有的PDE基础模型在短期预测中表现良好，但在长期预测中可能出现显著的误差放大，影响可靠性。
  2. 本文提出了一种新的评估方法，通过定义误差放大比率来衡量短期与长期预测的可靠性，强调了长期模拟的重要性。
  3. 实验结果表明，至少有一种微调的基础模型在26个短期数据集上超越了所有基线模型，但长期误差普遍高于短期误差，显示出误差放大的现象。

📝 摘要（中文）

PDE基础模型能够实现数据高效适应，但其自回归部署使得短期准确性并不一定意味着可靠的长期模拟。本文探讨了基础模型在长期预测中的表现，定义了误差放大比率G=E(H_f)/E(H_s)，并在七个二维时间依赖的PDE数据集上评估了七种模型。结果显示，尽管某些微调的基础模型在短期内表现优异，但在长期预测中，误差往往显著增加。因此，PDE基础模型的基准测试应报告详细的绝对误差和放大统计，而不仅仅是单一的局部预测分数。

🔬 方法详解

问题定义：本文旨在解决PDE基础模型在长期预测中可能出现的误差放大问题。现有方法通常只关注短期准确性，忽视了长期模拟的可靠性。

核心思路：通过定义误差放大比率G=E(H_f)/E(H_s)，论文探讨了短期预测与长期预测之间的关系，强调了在评估模型时需要考虑长期表现。

技术框架：研究评估了七种模型在七个二维时间依赖的PDE数据集上的表现，使用了多种指标（如VRMSE、相对L_2和相对MAE）来比较短期与长期的误差。

关键创新：最重要的创新在于提出了误差放大比率的概念，揭示了短期良好表现与长期可靠性之间的潜在矛盾，这一视角在现有文献中较为缺乏。

关键设计：实验中使用了多种模型，包括scratch-trained和fine-tuned的基础模型，设置了不同的训练配置，并在多个数据集上进行了全面评估，确保了结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，至少一种微调的基础模型在26个短期数据集上超越了所有基线模型。然而，在144个训练配置中，140个的全局VRMSE超过了短期VRMSE，表明误差放大的现象普遍存在，且Walrus模型在24个单元中实现了最低的全局VRMSE。

🎯 应用场景

该研究的潜在应用领域包括气候建模、流体动力学和工程模拟等，能够为科学研究和工程实践提供更可靠的预测工具。通过改进长期预测的可靠性，研究成果将推动相关领域的技术进步和应用落地。

📄 摘要（原文）

PDE foundation models enable data-efficient adaptation but are deployed autoregressively, so short-horizon accuracy need not imply reliable simulation. We ask whether the short-horizon advantage of a foundation-model recipe persists when its predictions are repeatedly fed back as inputs for a long horizon. We define error amplification as G=E(H_f)/E(H_s), which measures full-horizon error relative to short-horizon error. We evaluate seven models on seven two-dimensional time-dependent PDE datasets: scratch-trained FNO and DeepONet; fine-tuned DPOT, GPhyT, Poseidon, and Walrus; and frozen in-context VICON. We report VRMSE, relative L_2, and relative MAE. Six datasets provide paired short- and full-horizon scores, while CE-RM contributes short-rollout sweeps only. At least one fine-tuned foundation model outperforms both scratch baselines in 26 of 30 short-rollout dataset--budget cells under every metric. Nevertheless, full-horizon VRMSE exceeds short-horizon VRMSE in 140 of 144 paired trained configurations, with a median error amplification of $2.04$. The count below VRMSE one falls from 104 to 53, and 12 full rollouts exceed ten although none does at the short horizon. Walrus achieves the lowest full-horizon VRMSE in 16 of 24 cells, yet its median error amplification is $2.70$. Relative L_2 and relative MAE show the same qualitative pattern. These results show that favorable short-horizon rankings can coexist with substantial error amplification. PDE foundation-model benchmarks should therefore report horizon-resolved absolute errors, amplification statistics, and failure incidence rather than a single local forecast score.