Beyond a single latent space: a dual-latent world model for long-horizon planning
作者: Delin Zhao, Zhengrong Yue, Shaobin Zhuang, Junlin He, Xiaoyu Chen, Zikang Wang, Yuxin Liu, Limin Wang, Yali Wang
分类: cs.AI
发布日期: 2026-09-29
备注: 31 pages, 22 figures, 9 tables. Main text: 9 pages
🔗 代码/项目: GITHUB
💡 一句话要点
提出双潜在世界模型以解决长时间规划问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长时间规划 潜在世界模型 递归展开 视觉控制 宏观动作 表示学习 机器人导航 智能决策
📋 核心要点
- 现有潜在世界模型在长时间规划中表现不佳，递归展开导致误差累积，影响目标识别。
- 本文提出双潜在世界模型，通过低层和高层模型分别处理局部执行和长远规划，提升规划精度。
- 在五个视觉控制任务中，Dual-WM的成功率在不同目标偏移下显著提高，验证了方法的有效性。
📝 摘要（中文）
潜在世界模型在长时间规划中常面临挑战，尽管短期预测准确。递归展开会累积误差，而高维潜在空间中的距离集中可能削弱目标区分能力。本文提出双潜在世界模型（Dual-WM），通过不同的状态表示和动态模型分离局部执行与长远规划。低层模型预测基于动作的转变，高层模型利用学习的宏观动作进行长时间规划。同时，我们提出加权展开的长时间表示学习（LoRe），在两个层面上监督自生成的预测。实验表明，Dual-WM在五个目标条件的视觉控制任务中表现优异，成功率显著提升，验证了分离时间角色和跨多个时间尺度训练的价值。
🔬 方法详解
问题定义：本文旨在解决潜在世界模型在长时间规划中的不足，现有方法在递归展开时容易累积误差，导致目标识别能力下降。
核心思路：提出双潜在世界模型（Dual-WM），通过分离局部执行和长远规划的状态表示与动态模型，分别处理短期和长期的决策问题，从而提高规划的准确性。
技术框架：Dual-WM包含低层模型和高层模型，低层模型负责基于动作的转变预测，高层模型则利用学习的宏观动作进行长时间规划。通过加权展开的长时间表示学习（LoRe），在两个层面上监督自生成的预测。
关键创新：最重要的创新在于将局部执行与长远规划分开处理，利用不同的状态表示和动态模型，显著提高了长时间规划的成功率。与现有方法相比，Dual-WM在处理长时间规划时表现出更好的稳定性和准确性。
关键设计：在模型设计中，采用了不同的衰减率来处理高层和低层模型的时间尺度，确保在长时间规划中能够有效地生成潜在子目标，并通过低层模型精确执行。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Dual-WM在目标偏移为50和100的环境步骤下，成功率分别从75.9%提升至84.4%和从61.4%提升至69.5%。在偏移为100的情况下，Dual-WM在所有五个任务中均超越基线，成功率较LeWM提升30.8个百分点，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶、智能制造等需要长时间规划的任务。通过提升长时间规划的准确性，Dual-WM能够在复杂环境中实现更高效的决策，具有重要的实际价值和未来影响。
📄 摘要（原文）
Latent world models often struggle with long-horizon planning despite accurate short-term predictions. Recursive rollouts accumulate errors, while distance concentration in high-dimensional latent spaces can weaken goal discrimination. We introduce the Dual-Latent World Model (Dual-WM), which separates local execution and long-range planning through distinct state representations and dynamics models. The low-level model predicts action-conditioned transitions, while the high-level model uses learned macro-actions to plan over longer temporal spans. We also propose Long-Horizon Representation Learning with Weighted Rollout (LoRe), which supervises self-generated predictions at both levels. An analysis of recursive error propagation motivates exponential horizon weights with separate decay rates for the two temporal scales. During planning, the high-level model generates latent subgoals that the low-level model refines into actions for precise execution. We evaluate from-scratch Dual-WM on five goal-conditioned visual control tasks against the task-wise strongest baselines without actor-guided proposals. At goal offsets of 50 and 100 environment steps, mean success increases from 75.9% to 84.4% and from 61.4% to 69.5%, respectively. At offset 100, Dual-WM outperforms these baselines on all five tasks and improves mean success over LeWM by 30.8 percentage points. Ablations and supporting analyses provide evidence of more informative representations for goal evaluation and greater consistency under recursive prediction. These results highlight the value of separating temporal roles and training across multiple horizons for reliable latent planning. Our core implementation is available at https://github.com/DeLin1001/Dual-WM-Official.