Learning Goal-Conditioned Subgoals through Frozen Hierarchical World Models

📄 arXiv: 2610.26179v1 📥 PDF

作者: Xiang Kaibo, Liu Qingfeng

分类: cs.CV

发布日期: 2026-10-19

💡 一句话要点

提出轻量级目标条件网络以优化层次世界模型的规划效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 层次世界模型 目标条件网络 规划效率 状态选择 自动驾驶 机器人导航 智能代理

📋 核心要点

  1. 现有层次世界模型在选择状态时计算成本高，反向传播过程复杂，影响了规划效率。
  2. 本文提出通过冻结的高层预测器训练目标条件网络，替代昂贵的状态选择过程，显著提高了规划速度。
  3. 实验结果表明，该方法在Cube、Push-T、FourRoom和Visual AntMaze等环境中表现优异，成功率达到70.4%至100%。

📝 摘要（中文）

层次世界模型通过将预测状态从粗略模型传递给低级控制器来进行长期规划。然而，选择这些状态的过程代价高昂，现有方法需要对候选宏动作轨迹进行反向传播。本文提出了一种轻量级的目标条件网络，通过冻结的高层预测器进行训练，提供条件向量，同时生成下一个潜在的路径点。训练过程中使用了回顾性目标和状态预测损失，而无需搜索解决方案目标或宏动作标签。在推理阶段，保留自回归的高层展开，但不再需要高层候选优化。实验结果显示，该方法在多个环境中超越了对应的HWM搜索基线，并在NVIDIA L40S上实现了1.28-4.39倍的端到端加速。

🔬 方法详解

问题定义：本文旨在解决层次世界模型在长期规划中状态选择的高计算成本问题。现有方法需要对候选宏动作轨迹进行反向传播，导致效率低下。

核心思路：提出一种轻量级的目标条件网络，通过冻结的高层预测器进行训练，提供条件向量以生成潜在路径点，从而避免昂贵的状态选择过程。

技术框架：整体架构包括高层预测器和目标条件网络。高层预测器负责生成潜在的状态，而目标条件网络则根据目标生成条件向量，二者结合实现高效的规划。

关键创新：最重要的创新在于用目标条件网络替代了传统的状态选择过程，显著降低了计算复杂度，同时保持了规划的有效性。

关键设计：训练过程中采用回顾性目标和状态预测损失，避免了对宏动作标签的依赖，网络结构设计为轻量级，以适应快速推理需求。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，该方法在Cube、Push-T、FourRoom和Visual AntMaze环境中的平均成功率分别为70.4%、48.7%、100.0%和71.1%。在NVIDIA L40S上实现了1.28-4.39倍的端到端加速，显著提升了评估效率。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶和智能游戏代理等。通过提高规划效率，能够在复杂环境中实现更快速的决策，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Hierarchical world models plan over long horizons by passing predicted states from a coarse model to a lower-level controller. Choosing these states can be expensive: the upper-level planner repeatedly differentiates through candidate macro-action trajectories. We replace this search with a lightweight goal-conditioned network trained through the frozen high-level predictor. The network supplies a conditioning vector, while the predictor generates the next latent waypoint. Training uses hindsight goals and state-prediction losses on offline trajectories, without search-solution targets or macro-action labels. Inference retains an autoregressive high-level rollout, but requires no high-level candidate optimization. We evaluate this approach on the shared-latent HWM checkpoints distributed with H-JEPA, using three backbone seeds and three head initializations per backbone. With a common evaluation protocol, mean success is 70.4% on Cube, 48.7% on Push-T, 100.0% on FourRoom, and 71.1% on Visual AntMaze. The method improves over the corresponding HWM search baseline on three environments and has the same mean on Push-T. Dedicated measurements on an NVIDIA L40S give 1.28-4.39x end-to-end speedups for batched evaluation. Ablations identify state-adaptive conditioning as a consistent contributor, while predictor-mediated subgoals and unrestricted conditions have environment-dependent benefits.