SAGE: Subgoal-Conditioned Action Generation for Latent World Model Planning
作者: Letian Cheng, Qi Zhang, Yisen Wang
分类: cs.AI
发布日期: 2026-07-20
💡 一句话要点
提出SAGE以解决长时间规划中的候选质量问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 潜在世界模型 长时间规划 子目标生成 动作序列生成 智能决策
📋 核心要点
- 现有的潜在世界模型在长时间规划中面临候选质量不足的问题，导致性能下降。
- 本文提出了一种基于子目标的条件生成方法，通过结构化指导生成候选动作序列，提升规划质量。
- 实验结果显示，该方法在PushT和OGBench Cube任务中，成功率显著提高，分别从12.7%提升至64.7%和从26.7%提升至67.3%。
📝 摘要（中文）
潜在世界模型通过学习动作条件的预测动态，成为强大的规划范式。然而，随着规划时间的增加，性能受到候选质量的制约。本文提出了一种先验条件规划器，通过结构化指导替代随机提案初始化。在每个规划阶段，目标条件生成器预测下一个可达的潜在子目标，并用于条件生成候选动作序列。通过使用不同持续时间的子目标作为先验，平衡了细粒度的局部控制与高层次的长时间进展。实验结果表明，该方法显著提高了长时间规划的性能，同时保持了短时间规划的强大表现。
🔬 方法详解
问题定义：本文旨在解决潜在世界模型在长时间规划中由于候选质量不足而导致的性能下降问题。现有方法在面对更大的动作空间时，难以有效评估高质量的候选未来。
核心思路：提出了一种先验条件的规划器，通过目标条件生成器预测可达的潜在子目标，从而指导候选动作序列的生成。这种设计旨在提高候选质量，增强规划的有效性。
技术框架：整体架构包括目标条件生成器和冻结的世界模型。目标条件生成器在每个规划阶段预测潜在子目标，而冻结的世界模型则用于评估和优化这些候选方案。
关键创新：最重要的创新在于引入了子目标的条件生成机制，利用不同持续时间的子目标作为先验，平衡了局部控制与全局进展。这一方法与传统的随机提案生成方法有本质区别。
关键设计：在参数设置上，采用了多种持续时间的子目标以捕捉语义信息，损失函数设计上则关注于优化候选动作序列的质量，网络结构上结合了生成模型与评估模型的协同工作。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SAGE方法在长时间规划任务中表现优异。在PushT任务中，成功率从12.7%提升至64.7%；在OGBench Cube任务中，成功率从26.7%提升至67.3%，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶、智能制造等需要长时间规划的场景。通过提高规划的质量和效率，能够显著提升这些领域的自动化水平和智能决策能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Latent world models have emerged as a powerful planning paradigm by learning action-conditioned predictive dynamics and using them as internal simulators to imagine and evaluate candidate action sequences. However, as the planning horizon grows, performance becomes increasingly constrained by proposal quality: a fixed candidate budget must search an exponentially larger action space, making it difficult to expose the world model to high-quality candidate futures for evaluation. In this paper, we introduce a prior-conditioned planner that replaces random proposal initialization with structured guidance. At each planning stage, a goal-conditioned generator predicts the next reachable latent subgoal for a specified duration, which is then used to condition the generation of candidate action sequences. To capture semantic information across temporal scales, we use subgoals of varying durations as priors, balancing fine-grained local control with higher-level long-horizon progress. Then the frozen world model evaluates and refines these subgoal-conditioned proposals before execution. Experiments on PushT and OGBench Cube show that coupling latent subgoal decomposition with prior-conditioned action generation substantially improves long-horizon planning while preserving strong short-horizon performance. To be specific, when the target offset is $150$, it raises PushT success from $12.7\%$ to $64.7\%$ and OGBench Cube success from $26.7\%$ to $67.3\%$.