WorldGuide: Goal-Directed Video World Model for Procedural Task Execution
作者: Ankan Deria, Komal Kumar, Hisham Cholakkal, Fahad Shahbaz Khan, Salman Khan
分类: cs.CV
发布日期: 2026-10-08
备注: 34 pages, 14 figures, 15 Tables
💡 一句话要点
提出WorldGuide以解决长时程程序任务执行中的生成适应性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长时程程序任务 闭环任务执行 视频生成 层次化视觉记忆 联合训练 自动化执行 智能助手
📋 核心要点
- 现有方法在长时程程序任务执行中无法有效适应生成结果，导致决策与实现之间的差距。
- WorldGuide模型通过闭环任务执行的方式，结合规划与执行，能够在视觉世界空间中生成适应性视频。
- 在WorldGuide-Bench上，WorldGuide模型的任务成功率达到33.33%，优于MiniMax-H3的29.90%，显示出显著的性能提升。
📝 摘要（中文）
视频生成器和基于视频的世界模型能够合成合理的视觉轨迹，但长时程程序任务的执行需要生成过程能够适应实际产生的结果。现有的开放式生成方法无法适应执行结果，而封闭式系统通常依赖于预训练的执行器或间接验证，导致决策与成功实现之间存在差距。为此，本文提出了WorldGuide模型，该模型在给定初始图像和任务目标的情况下，预测原子动作，生成相应的视频片段，并利用生成结果选择下一个动作或终止。通过引入WorldGuide Bench，提供了约59K步注释视频，WorldGuide在任务成功率上超越了现有强模型MiniMax-H3，展示了规划与学习执行结合的重要性。
🔬 方法详解
问题定义：本文旨在解决长时程程序任务执行中生成适应性不足的问题。现有的开放式生成方法无法根据执行结果进行调整，而封闭式系统又依赖于预训练的执行器，导致决策与实际执行之间存在明显的差距。
核心思路：WorldGuide通过将程序视频生成视为在视觉世界空间中的闭环任务执行，设计了一个能够根据初始图像和任务目标预测原子动作的模型。该模型生成相应的视频片段，并利用生成结果来选择下一个动作或判断任务是否完成。
技术框架：WorldGuide的整体架构包括两个主要模块：规划器（Planner）和执行器（Executor）。规划器从视觉进展中学习预测下一个原子动作或任务完成，而执行器则直接训练以实现预测的动作。
关键创新：最重要的创新在于引入了WorldGuide Bench，这是一个包含约59K步注释视频的数据集，支持联合训练规划器和执行器，填补了现有方法在步级动作-视频监督上的空白。
关键设计：模型采用层次化视觉记忆来维护长时程执行状态，确保在有限的历史令牌成本下进行有效的状态跟踪。
🖼️ 关键图片
📊 实验亮点
在WorldGuide-Bench上，WorldGuide模型的任务成功率达到33.33%，相比于MiniMax-H3的29.90%有显著提升。此外，在VideoCraft-Bench上，WorldGuide的成功率为47.69%，而MiniMax-H3在仅基于目标条件下的成功率为32.73%，显示出规划与执行结合的优势。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化视频生成和智能助手等。通过提高长时程程序任务的执行效率，WorldGuide能够在多个实际场景中实现更高的自动化水平，提升用户体验和工作效率。未来，该模型可能推动更复杂的任务执行和人机交互的发展。
📄 摘要（原文）
Video generators and video-based world models can synthesize plausible visual trajectories, but long-horizon procedural tasks require generation to adapt to what has actually been produced. A model must determine the next action from its generated state, execute that action, and recognize when the task is complete. Open-loop generation cannot adapt to execution outcomes, while existing closed-loop systems often rely on pretrained executors or indirect verification. This leaves a gap between deciding an action and successfully realizing it. We formulate procedural video generation as \emph{closed-loop task execution in visual world space} and introduce \textbf{WorldGuide}. Given only an initial image and a task goal, WorldGuide predicts an atomic action, generates its corresponding video clip, and uses the generated result to select the next action or terminate. The Planner and Executor are trained on the same step-level procedural demonstrations: the Planner learns to predict the next atomic action or task completion from visual progress, while the Executor is directly trained to realize the predicted actions. Hierarchical visual memory maintains state across long-horizon execution with bounded history token cost. Due to the lack of step-level action-video supervision for joint planner-executor training, we introduce \textbf{WorldGuide Bench}: approximately 59K step-annotated videos across 245 tasks and 27 procedural categories. WorldGuide achieves a 33.33\% Task Success on \textbf{WorldGuide-Bench}, compared with 29.90\% for the strong recent video model MiniMax-H3, even though MiniMax-H3 receives reference action plans, and achieves 47.69\% on \textbf{VideoCraft-Bench} compared with 32.73\% for MiniMax-H3 under goal-only conditioning. These results demonstrate the importance of coupling planning with learned execution for goal-directed procedural video generation.