Sparse Planning in Visual World Models via Cost Gradients
作者: Yingchen Xu, Edward Grefenstette
分类: cs.LG
发布日期: 2026-10-07
备注: Accepted at NeurIPS 2026. 20 pages, 6 figures, 8 tables. Project page and demos: https://ycxuyingchen.github.io/costgrad/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出COSTGRAD以解决稀疏规划中的高计算成本问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 稀疏规划 世界模型 动作选择 梯度优化 控制任务
📋 核心要点
- 现有的基于标记的世界模型在处理大型空间标记网格时，导致动作搜索的计算成本过高。
- COSTGRAD通过规划成本的梯度范数对空间标记进行排序，选择对规划有重要影响的标记，避免了无效的计算。
- 在多个基准测试中，COSTGRAD在保持性能的同时显著提高了规划速度，展示了其在稀疏规划中的有效性。
📝 摘要（中文）
基于标记的世界模型能够实现细粒度的潜在规划，但反复处理大型空间标记网格使得动作搜索成本高昂。本文提出COSTGRAD，这是一种无训练、目标条件选择器，通过规划成本相对于每个输入标记的梯度范数对空间标记进行排序。COSTGRAD从下游控制目标中导出重要性，针对对规划有意义的标记进行选择，而不仅仅是预测。实验结果表明，在50%稀疏的AdaLN条件预测器上，COSTGRAD在四个连续控制基准中有三项达到了或超过了全标记规划，同时每个环境规划步骤的墙钟时间加速达到了2.6倍。结合标记稀疏性与减少的CEM搜索，总体加速可达约5倍，同时仍然超过全标记基线。
🔬 方法详解
问题定义：本文旨在解决基于标记的世界模型在进行动作搜索时的高计算成本问题。现有方法在处理大型空间标记网格时效率低下，导致规划过程缓慢。
核心思路：COSTGRAD通过计算规划成本相对于每个输入标记的梯度范数，选择对规划最重要的标记，从而减少不必要的计算。该方法不需要额外的训练，直接基于目标条件进行选择。
技术框架：COSTGRAD的整体架构包括输入标记的梯度计算模块、重要性排序模块和选择模块。首先计算每个标记的梯度范数，然后根据这些值对标记进行排序，最后选择重要标记进行后续的规划。
关键创新：COSTGRAD的主要创新在于其无训练的选择机制，通过梯度信息直接指导标记选择，与传统方法依赖于全标记处理的方式有本质区别。
关键设计：在设计中，COSTGRAD使用了AdaLN条件预测器，并在50%稀疏度下进行实验。关键参数包括梯度计算的精度和选择的阈值，这些设计确保了选择的有效性和效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在50%稀疏的AdaLN条件下，COSTGRAD在三个连续控制基准上达到了或超过了全标记规划，且每个环境规划步骤的墙钟时间加速达到了2.6倍。结合稀疏性与CEM搜索的减少，总体加速可达约5倍，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等需要实时决策的场景。通过提高规划效率，COSTGRAD能够在复杂环境中实现更快速的响应，提升系统的整体性能。未来，该方法可能会推动更高效的智能体设计与优化。
📄 摘要（原文）
Token-based world models enable fine-grained latent planning, but repeatedly processing large spatial token grids makes action search expensive. We introduce COSTGRAD, a training-free, goal-conditioned selector that ranks spatial tokens by the gradient norm of the planning cost with respect to each input token. By deriving importance from the downstream control objective, COSTGRAD targets tokens that matter for planning rather than merely for prediction. On AdaLN-conditioned predictors at $50\%$ sparsity, COSTGRAD matches or exceeds full-token planning on three of four continuous-control benchmarks, while giving a measured $2.6\times$ wall-clock speedup per environment planning step. Combining token sparsity with reduced CEM search increases this to a $\sim 5\times$ total speedup while still exceeding the full-token baseline. We also identify an architecture-dependent failure mode: in a matched AdaLN-vs-concat comparison, concat maintains comparable full-token performance but pure COSTGRAD loses its advantage over random selection. This difference tracks action-pathway drift: gradient-selected removal produces less drift than random removal on AdaLN, but more on concat. These results highlight selector-architecture compatibility as a design axis for sparse world-model planning. Project page and demos: https://ycxuyingchen.github.io/costgrad/