Semigroup-JEPA: Latent Dynamics Consistency for Zero-Shot Physics Generalization

📄 arXiv: 2609.10464v1 📥 PDF

作者: Andy Zeyi Liu, Haoran Sun, Lucas Baker, Randall Balestriero, John Sous

分类: cs.LG, cs.AI, cs.CV

发布日期: 2026-09-09

💡 一句话要点

提出SemiGroup-JEPA以解决物理建模的零-shot泛化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 物理建模 动态预测 零-shot泛化 机器人控制 自回归模型

📋 核心要点

  1. 现有的JEPA模型在物理建模和动态生成方面的能力尚未得到充分验证，存在泛化能力不足的问题。
  2. SG-JEPA通过引入动作条件化的物理参数，联合训练编码器和预测器，增强了模型对物理动态的理解和预测能力。
  3. 实验结果表明，SG-JEPA在二维和三维数据集上均显著提高了预测精度和控制成功率，展示了其优越性。

📝 摘要（中文）

联合嵌入预测架构（JEPA）世界模型学习了紧凑的世界潜在表示，支持预测和规划，但其学习物理和生成物理现实动态的能力尚未得到验证。本文提出了SemiGroup-JEPA（SG-JEPA），通过动作条件化将物理参数引入时间模型，并通过自回归潜在展开联合训练编码器和预测器。为评估模型的零-shot 泛化能力，我们设计了在不同重力场下的动态任务，尽管遵循相同的物理法则，但表现出不同的动态特征。与DINO-WM相比，SG-JEPA在二维数据集上将开放环预测误差降低了2倍，并在三维机器人数据集上将控制成功率提高了2.5倍。

🔬 方法详解

问题定义：本文旨在解决现有JEPA模型在物理建模和动态生成方面的不足，特别是在零-shot泛化能力上存在的挑战。现有方法未能有效处理不同重力场下的动态变化。

核心思路：SG-JEPA通过动作条件化将物理参数引入时间模型，利用自回归潜在展开联合训练编码器和预测器，从而提高模型对物理动态的理解和预测能力。

技术框架：SG-JEPA的整体架构包括一个编码器、一个预测器和一个动作条件化模块。编码器负责提取潜在特征，预测器则基于这些特征进行动态预测。

关键创新：SG-JEPA的主要创新在于通过引入物理参数和联合训练机制，显著提高了模型的预测精度和泛化能力。这一设计与传统方法的本质区别在于其对物理动态的深度理解。

关键设计：在模型设计中，采用了多步展开损失函数，并通过反向传播将损失引入编码器，以确保编码器学习到对动态预测至关重要的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SG-JEPA在二维数据集上将开放环预测误差降低了2倍，并在三维机器人数据集上将控制成功率提高了2.5倍，显著优于对比基线DINO-WM，展示了其在物理建模和动态预测方面的卓越性能。

🎯 应用场景

该研究在机器人控制、物理模拟和智能系统等领域具有广泛的应用潜力。通过提高模型的物理理解能力，SG-JEPA能够在复杂环境中实现更高效的决策和控制，推动智能体在真实世界中的应用。

📄 摘要（原文）

Joint-Embedding Predictive Architecture (JEPA) world models learn a compact latent representation of the world that supports prediction and planning, but their capability to learn physics and generate physically realistic dynamics remains hitherto untested. In this work, we introduce SemiGroup-JEPA (SG-JEPA), which extends the LeWorldModel framework by supplying the parameter governing the physics to the temporal model via action-conditioning and jointly training an encoder and predictor through an autoregressive latent rollout. To evaluate the model's ability to generalize out of distribution, we design dynamical tasks under different gravitational fields that, despite obeying the same physical law, exhibit qualitatively different dynamics, ranging from floating motion in weak gravitational fields to rapid bouncing in strong ones. In contrast to DINO-WM, SG-JEPA reduces open-loop prediction error by up to 2 times on two-dimensional datasets, and increases control success rate up to 2.5 times for three-dimensional robotic datasets, for which we train independent diffusion policies. To explain this advantage, we develop a linear feature model that separates local law-conditioned error from its recursive amplification under rollout. Guided by this model, we find that back-propagating the multi-step rollout loss into the representation trains the encoder to keep the features that the predictor can carry forward, and that those are the features the dynamics depend on, so most of the gain comes from the encoder learning better features rather than from the predictor learning better dynamics. See project page at https://sg-jepa.github.io.