Mind the Gap: Promises and Pitfalls of Hierarchical Planning in LeWorldModel
作者: Niccolò Caselli, Salvatore Lo Sardo, Francesco Massafra, Ippokratis Pantelidis, Samuele Punzo, Sathya Kamesh Bhethanabhotla
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-07-14
备注: Accepted at WM@Booth 2026
💡 一句话要点
提出Hi-LeWM以解决长时间目标条件控制中的层次规划问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 层次规划 长时间目标控制 LeWorldModel 高层规划 低层控制器 潜在子目标 机器人控制 智能决策
📋 核心要点
- 现有方法在长时间目标条件控制中存在层次规划的不足，导致性能不稳定。
- 论文提出Hi-LeWM，通过冻结低层LeWM并在潜在子目标上进行高层规划，以提升控制效果。
- 实验结果显示，Hi-LeWM在中等和长时间范围内分别提高了11.3%和14.7%的性能，验证了层次规划的有效性。
📝 摘要（中文）
本研究探讨了时间层次是否能改善LeWorldModel在长时间目标条件控制中的表现。我们引入了Hi-LeWM，一个扩展版本，通过冻结预训练的低层LeWM并在潜在子目标上添加高层规划。实验结果表明，层次结构并不总能提升性能，短时间内最佳配置为一步高层规划，而长时间则暴露出学习的高层动作空间与推理时搜索分布之间的不匹配。通过真实的未来潜在子目标实验，发现冻结的低层控制器能够有效执行对齐的中间目标，表明高层子目标生成是主要瓶颈。约束搜索可以选择从训练轨迹编码的潜在宏动作，从而恢复有用的层次结构，在中等范围内比平坦的LeWM提高了11.3个百分点，在最长的PushT范围内提高了14.7个百分点。总体而言，时间抽象可以使紧凑的冻结LeWM受益，但前提是高层搜索与低层控制器保持兼容。
🔬 方法详解
问题定义：本论文旨在解决在长时间目标条件控制中，现有层次规划方法的性能不稳定和不匹配问题。现有的LeWorldModel在面对复杂任务时，难以有效利用高层规划来指导低层控制。
核心思路：论文提出的Hi-LeWM通过冻结预训练的低层LeWM，并在其上添加高层规划，旨在通过引入潜在子目标来改善控制性能。这样的设计使得低层控制器能够专注于执行具体任务，而高层则负责制定策略。
技术框架：Hi-LeWM的整体架构包括两个主要模块：冻结的低层控制器和动态生成的高层规划模块。低层控制器负责执行具体的动作，而高层模块则根据当前状态和目标生成潜在的子目标。
关键创新：最重要的技术创新在于引入了高层子目标生成机制，并通过约束搜索来选择合适的宏动作。这一方法与现有的平坦LeWM方法相比，能够更好地对齐低层控制器的执行目标。
关键设计：在设计中，论文对高层规划的搜索进行了约束，确保选择的宏动作与训练轨迹一致，并设定了合适的子目标执行时机。这些设计细节显著提升了模型在复杂任务中的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Hi-LeWM在中等范围内比平坦的LeWM提高了11.3个百分点，在最长的PushT范围内提高了14.7个百分点。这表明，通过有效的高层规划和低层控制的结合，模型在长时间目标条件控制中取得了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和智能制造等需要长时间目标条件控制的场景。通过改进层次规划，Hi-LeWM能够在复杂环境中实现更高效的决策和控制，具有重要的实际价值和未来影响。
📄 摘要（原文）
We investigate whether temporal hierarchy can improve LeWorldModel on long-horizon goal-conditioned control. We introduce Hi-LeWM, an extension that freezes the pretrained low-level LeWM and adds high-level planning over latent subgoals. We evaluate Hi-LeWM on PushT and Cube across increasing goal offsets. Hierarchy does not automatically improve performance: at short horizons, the best configuration uses a one-step high-level horizon, while longer horizons reveal a mismatch between the learned high-level action space and the inference-time search distribution. Experiments with true future latent subgoals show that the frozen low-level controller can execute well-aligned intermediate targets, indicating that high-level subgoal generation is the main bottleneck. Unconstrained search can select latent macro-actions that appear favorable under the learned model but produce poor control targets. Constraining search around macro-actions encoded from training trajectories, with appropriate subgoal execution timing, recovers useful hierarchical regimes, improving over flat LeWM by +11.3 percentage points at medium-range horizons and +14.7 percentage points at the longest PushT horizon. Overall, temporal abstraction can benefit compact frozen LeWM, but only when high-level search remains compatible with the low-level controller