H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning

📄 arXiv: 2610.06805v1 📥 PDF

作者: Wancong Zhang, Basile Terver, Michael Rabbat, Yann LeCun, Randall Balestriero

分类: cs.LG, cs.RO

发布日期: 2026-10-05

💡 一句话要点

提出H-JEPA以解决长时间规划中的层次世界模型问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 层次化规划 潜在世界模型 长时间规划 机器人导航 自上而下优化

📋 核心要点

  1. 现有的JEPA世界模型在长时间规划中面临时间尺度和抽象层次的推理不足，限制了其应用效果。
  2. H-JEPA通过建立层次化的动作条件JEPA模型，使每个层次在独立的潜在空间中进行更远的预测，从而优化规划过程。
  3. 实验结果表明，H-JEPA在多个模拟环境中表现优异，特别是在Visual AntMaze中成功率显著提升，且计算效率更高。

📝 摘要（中文）

长时间规划与潜在世界模型需要跨越时间尺度和抽象层次进行推理。现有的JEPA世界模型在单一时间尺度或共享潜在空间中进行预测和规划。本文提出H-JEPA，一种端到端的训练层次化动作条件JEPA的方法，每个层次在其学习的潜在空间中进行更远的预测。规划过程自上而下进行，顶层优化目标进展，每个层次的预测成为下层的子目标。在四个模拟导航和操作环境中，层次规划相较于平面JEPA有显著提升；在Visual AntMaze中，三层层次结构将成功率从18%提升至73%，且计算需求更低。通过逆动力学监督，该方法还扩展到DROID的多样化真实机器人视频中，层次结构提高了离线规划的准确性。

🔬 方法详解

问题定义：本文旨在解决长时间规划中现有JEPA模型在时间尺度和抽象层次推理方面的不足，导致规划效果不理想的问题。

核心思路：H-JEPA通过构建层次化的模型，使得每个层次在其独立的潜在空间中进行预测，从而实现自上而下的规划优化，提升了模型的灵活性和准确性。

技术框架：H-JEPA的整体架构包括多个层次的JEPA模型，顶层负责优化目标进展，而下层则根据上层的预测设定子目标。每个层次独立学习其潜在空间，确保信息的有效传递。

关键创新：H-JEPA的主要创新在于引入了层次化的规划机制，使得模型能够在不同时间尺度上处理信息，显著提高了规划的效率和成功率。与现有方法相比，H-JEPA能够更好地处理复杂的动态环境。

关键设计：在模型设计中，采用了逆动力学监督来增强模型的学习效果，并通过实验验证了不同层次的参数设置和损失函数对性能的影响，确保了模型的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，H-JEPA在Visual AntMaze环境中的成功率从18%提升至73%，展示了显著的性能提升。此外，层次化规划在计算需求上也表现出更高的效率，证明了该方法的有效性。

🎯 应用场景

H-JEPA的研究成果在机器人导航、自动化操作等领域具有广泛的应用潜力。通过提高长时间规划的效率和准确性，该方法可以为智能机器人在复杂环境中的自主决策提供支持，推动智能系统的实际应用和发展。

📄 摘要（原文）

Long-horizon planning with latent world models requires reasoning across timescales and levels of abstraction. Existing task-agnostic JEPA world models predict and plan at a single timescale or with multiple horizons in one shared latent space. We introduce H-JEPA, an end-to-end recipe for training a hierarchy of action-conditioned JEPAs in which each level predicts farther ahead in its own learned latent space. Planning proceeds top-down: the top level optimizes progress toward the goal, and each level's predictions become subgoals for the planner below it. When factors in the data evolve at separated timescales, higher levels discard fast, unpredictable detail and retain slower task-relevant state. Across four simulated navigation and manipulation environments, hierarchical planning improves over a flat JEPA; on Visual AntMaze, a three-level hierarchy raises success from 18% to 73% using less planner compute. Ablations attribute these gains to both temporal decomposition and higher-level goal representations. With inverse-dynamics supervision, the approach extends to diverse real-robot videos from DROID, where hierarchy improves offline planning fidelity at lower planner compute.