RD-JEPA: Predictive latent pretraining for few-trajectory transfer across reaction--diffusion equations

📄 arXiv: 2609.29403v1 📥 PDF

作者: Chenhao Si, Ming Yan

分类: cs.AI, cs.LG

发布日期: 2026-09-24

💡 一句话要点

提出RD-JEPA以解决反应-扩散方程的少量轨迹迁移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 反应-扩散方程 自监督学习 迁移学习 代理模型 偏微分方程

📋 核心要点

  1. 现有方法在控制算子变化时需要新的模拟语料，导致学习效率低下。
  2. RD-JEPA通过自监督预训练和联合嵌入架构，能够在不同反应-扩散系统间进行有效迁移。
  3. 实验结果显示，RD-JEPA在多个基准测试中表现优异，显著降低了预测误差。

📝 摘要（中文）

学习时间依赖的偏微分方程的代理模型通常需要在控制算子变化时重新进行模拟。本文提出了RD-JEPA，一种用于反应-扩散轨迹的自监督预训练的联合嵌入预测架构。该模型在五个参数化系统上进行预训练，然后适应三个未包含在预训练中的系统。RD-JEPA在使用一个、五个或十个完整轨迹的情况下，均实现了比五个监督代理基线更低的均值相对离散$ ext{l}^2$场误差和均值绝对空间一阶差分误差。结果表明，未来状态表示的预测可以支持在相关反应-扩散系统之间的数据高效适应。

🔬 方法详解

问题定义：本文旨在解决在反应-扩散方程中，当控制算子变化时，学习代理模型所需的新模拟语料的问题。现有方法在这一点上效率低下，无法有效迁移学习。

核心思路：RD-JEPA的核心思路是通过自监督学习和联合嵌入架构，利用预训练模型在多个系统上学习共享特征，从而实现对未见系统的有效适应。

技术框架：RD-JEPA的整体架构包括预训练阶段和适应阶段。在预训练阶段，模型在五个参数化系统上进行训练；在适应阶段，模型利用少量轨迹数据调整以适应新的系统。

关键创新：RD-JEPA的主要创新在于其联合嵌入预测架构，能够在不同反应-扩散系统之间实现有效的知识迁移，这与传统的监督学习方法有本质区别。

关键设计：模型采用了特定的损失函数来优化预测精度，并在网络结构上进行了调整，以适应不同的输出分辨率和预测时间范围。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RD-JEPA在使用一个、五个或十个完整轨迹的情况下，均实现了比五个监督代理基线更低的均值相对离散$ ext{l}^2$场误差和均值绝对空间一阶差分误差，显示出显著的性能提升，验证了其在不同系统间的有效迁移能力。

🎯 应用场景

该研究在科学计算、物理模拟和工程设计等领域具有广泛的应用潜力。通过提高反应-扩散方程的学习效率，RD-JEPA能够加速新材料的开发、流体动力学的模拟等实际问题的解决，具有重要的实际价值和未来影响。

📄 摘要（原文）

Learning surrogates for time-dependent partial differential equations often requires a new simulation corpus when the governing operator changes. We introduce RD-JEPA, a joint-embedding predictive architecture for self-supervised pretraining on reaction-diffusion trajectories. A single model is pretrained on five parameterized systems and then adapted to three held-out systems whose reaction operators and trajectories are excluded from pretraining. Using one, five, or ten complete trajectories from a held-out system, RD-JEPA achieves lower mean relative discrete $\ell^2$ field error and mean absolute spatial first-difference error than five supervised surrogate baselines, an independently trained control that removes the trajectory-dependent predictive latent pathway, and an architecture-matched model trained from scratch. Within the evaluated equations, output resolution, forecast horizons, and choices of adaptation trajectories, the results indicate that prediction of future-state representations can support data-efficient adaptation across related reaction-diffusion systems.