Beyond Action Prediction: Learning Search-Free Planning in Latent Space

📄 arXiv: 2610.23615v1 📥 PDF

作者: Guanchen Du, Jinhao Du, Yanpeng Sun, Shan Zhang, Na Zhao, Zechao Li

分类: cs.RO, cs.AI

发布日期: 2026-10-16

💡 一句话要点

提出HIJP框架以解决搜索优化规划的高成本问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在世界模型 逆模型 动作预测 视觉规划 高效控制 机器人技术 动态环境

📋 核心要点

  1. 现有的潜在世界模型在规划时需要高昂的在线搜索成本，限制了其应用效率。
  2. 本文提出HIJP框架，通过目标条件逆模型直接预测动作，消除了在线搜索的需求。
  3. 在四个视觉控制任务中，HIJP实现了86.8%的整体成功率，并在规划速度上提升了1.9至16.5倍。

📝 摘要（中文）

潜在世界模型通过紧凑的表示空间学习基于动作的状态转移，为视觉规划和控制提供预测模型。然而，使用这些模型进行规划通常需要在动作序列上进行成本高昂的测试时优化。本文提出了一种目标条件的逆模型，直接从当前和目标观察中预测动作，替代了在线搜索。我们引入了Hindsight Inverse JEPA Planning (HIJP)框架，在训练过程中解决了目标表示与动作预测一致性的问题。HIJP通过重新标记未来观察作为目标，提供跨多个时间范围的动作监督，并在推理时交替应用逆动力学模型和潜在预测模型，生成多步动作序列，显著提升了规划速度和成功率。

🔬 方法详解

问题定义：本文旨在解决潜在世界模型在规划过程中需要进行高成本的在线搜索优化的问题。现有方法在动作预测与目标表示之间缺乏一致性，导致规划效率低下。

核心思路：HIJP框架通过引入目标条件逆模型，直接从当前状态和目标状态预测动作，避免了在线搜索的复杂性。通过在训练过程中重新标记未来观察为目标，增强了动作监督。

技术框架：HIJP的整体架构包括两个主要模块：逆动力学模型和潜在预测模型。在训练阶段，HIJP通过目标重标定和动作预测来优化视觉表示；在推理阶段，交替应用这两个模型生成动作序列。

关键创新：HIJP的创新在于其搜索自由的规划方法，通过目标条件逆模型直接预测动作，并在训练中保持目标表示的梯度，从而确保动作与状态转移的一致性。这与传统的基于搜索的规划方法本质上不同。

关键设计：HIJP采用了重新标记的未来观察作为目标，设计了相应的损失函数以确保动作预测的准确性，并通过保持梯度传递来优化视觉表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个视觉控制任务中，HIJP框架实现了86.8%的成功率，相较于传统搜索方法，规划速度提升了1.9至16.5倍，显示出显著的效率优势和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能制造等需要高效规划与控制的场景。HIJP框架的高效性和准确性使其在动态环境中具有广泛的应用价值，未来可进一步拓展到更复杂的任务和系统中。

📄 摘要（原文）

Latent world models learn action-conditioned state transitions in a compact representation space, providing a predictive model for visual planning and control. However, planning with these models typically requires costly test-time optimization over action sequences. We propose to replace this online search with a goal-conditioned inverse model that directly predicts actions from current and goal observations. A key challenge is that action prediction alone neither ensures that goal representations encode action-relevant information nor that predicted actions are consistent with the learned latent prediction model. We introduce Hindsight Inverse JEPA Planning (HIJP), a search-free framework that addresses both aspects during training. HIJP relabels future observations along offline trajectories as goals, providing action supervision across multiple temporal horizons. By retaining gradients through the goal representations, this supervision directly shapes the visual representation. HIJP further feeds predicted actions into the latent predictor model and aligns the resulting next-state representations with encoded successor observations, enforcing action-transition consistency. At inference time, the inverse dynamics model and latent predictor models are applied alternately to generate multi-step action sequences without online search. Across four visual control tasks, HIJP achieves 86.8% overall success and a 1.9-16.5x planning speedup over search-based planning.