TANTE: Time-Adaptive Operator Learning via Neural Taylor Expansion

📄 arXiv: 2502.08574v3 📥 PDF

作者: Zhikai Wu, Sifan Wang, Shiyang Zhang, Sizhuang He, Min Zhu, Anran Jiao, Lu Lu, David van Dijk

分类: cs.LG, cs.AI

发布日期: 2025-02-12 (更新: 2025-10-06)

备注: 22 pages, 7 figures, 10 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出TANTE框架以解决时间依赖PDE的适应性问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 算子学习 偏微分方程 时间自适应 神经网络 泰勒展开 动态预测 计算效率 误差控制

📋 核心要点

  1. 现有的算子学习方法在处理时间依赖的PDE时，通常使用固定的时间步长，导致适应性差和误差累积。
  2. 本文提出的TANTE框架通过神经泰勒展开实现了自适应步长的预测，能够根据局部解的行为动态调整计算过程。
  3. 实验结果显示，TANTE在多个PDE基准测试中显著提高了准确性和计算效率，准确性提升60-80%，推理速度提升30-40%。

📝 摘要（中文）

时间依赖的偏微分方程（PDE）的算子学习在近年来取得了快速进展，使得复杂时空动态的高效近似成为可能。然而，大多数现有方法在展开过程中依赖固定的时间步长，这限制了它们对变化的时间复杂性的适应能力，并且常常导致误差累积。为此，本文提出了基于神经泰勒展开的时间自适应变换器（TANTE），该框架能够生成具有自适应步长的连续时间预测。TANTE通过在当前状态下进行泰勒展开来预测未来状态，神经网络学习高阶时间导数和局部收敛半径，从而动态调整展开过程，减少累积误差并提高计算效率。实验结果表明，TANTE在多种PDE基准测试中表现出优越的准确性和适应性，相较于固定步长基线，准确性提升60-80%，推理速度提升30-40%。

🔬 方法详解

问题定义：本文旨在解决时间依赖偏微分方程（PDE）算子学习中固定时间步长带来的适应性不足和误差累积问题。现有方法在处理复杂时空动态时，无法有效调整时间步长，导致预测精度下降。

核心思路：TANTE框架通过神经网络实现泰勒展开，学习高阶时间导数和局部收敛半径，从而在当前状态下进行动态预测。这种方法允许模型根据解的局部行为自适应调整展开过程，提高了预测的准确性和效率。

技术框架：TANTE的整体架构包括数据输入模块、神经网络模块和预测输出模块。数据输入模块负责接收时间依赖的PDE数据，神经网络模块通过学习高阶导数和收敛半径进行泰勒展开，最后生成连续时间的预测结果。

关键创新：TANTE的核心创新在于结合了神经网络与泰勒展开，使得模型能够在不同时间步长下进行自适应预测。这一设计与传统固定步长方法的本质区别在于其动态调整能力，显著减少了误差累积。

关键设计：在模型设计中，关键参数包括高阶导数的学习率和局部收敛半径的计算方式。损失函数采用了结合预测误差和收敛性评估的复合损失，确保模型在训练过程中能够有效学习并优化预测性能。网络结构上，采用了多层感知机（MLP）来实现高阶导数的学习，增强了模型的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多种PDE基准测试中，TANTE框架表现出色，相较于固定步长基线，准确性提升60-80%，推理速度提升30-40%。这些实验结果表明，TANTE在处理复杂时空动态时具有显著的优势，展示了其在算子学习领域的强大潜力。

🎯 应用场景

TANTE框架在科学计算、工程模拟和气候预测等领域具有广泛的应用潜力。其自适应的时间步长调整能力使得在处理复杂动态系统时，可以更高效地进行实时预测，降低计算成本，提高预测精度。未来，该方法有望在更广泛的物理和工程问题中得到应用，推动相关领域的研究进展。

📄 摘要（原文）

Operator learning for time-dependent partial differential equations (PDEs) has seen rapid progress in recent years, enabling efficient approximation of complex spatiotemporal dynamics. However, most existing methods rely on fixed time step sizes during rollout, which limits their ability to adapt to varying temporal complexity and often leads to error accumulation. Here, we propose the Time-Adaptive Transformer with Neural Taylor Expansion (TANTE), a novel operator-learning framework that produces continuous-time predictions with adaptive step sizes. TANTE predicts future states by performing a Taylor expansion at the current state, where neural networks learn both the higher-order temporal derivatives and the local radius of convergence. This allows the model to dynamically adjust its rollout based on the local behavior of the solution, thereby reducing cumulative error and improving computational efficiency. We demonstrate the effectiveness of TANTE across a wide range of PDE benchmarks, achieving superior accuracy and adaptability compared to fixed-step baselines, delivering accuracy gains of 60-80 % and speed-ups of 30-40 % at inference time. The code is publicly available at https://github.com/zwu88/TANTE for transparency and reproducibility.