Control-Geometry Straightening for Sampling-Based Latent Planning
作者: Ziang Fu, Ning Ning
分类: cs.LG, stat.ML
发布日期: 2026-09-28
💡 一句话要点
提出控制几何直化方法以优化基于采样的潜在规划
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 控制几何直化 潜在世界模型 采样效率 规划优化 动作序列 机器人控制 智能制造
📋 核心要点
- 现有方法在准确的转移预测下，规划目标的优化仍然困难，导致采样效率低下。
- 本文提出控制几何直化（CGS），通过直化控制几何来学习适合规划的表示，提升采样效率。
- 在多个控制环境中，CGS显著提高了成功率，减少了所需的采样候选和优化步骤。
📝 摘要（中文）
联合嵌入预测架构使得基于潜在世界模型的规划成为可能，但仅依靠准确的转移预测并不能确保规划目标易于优化。本文提出了控制几何直化（CGS）方法，通过直接直化控制几何来学习适合规划的表示，从而实现采样高效的规划。CGS通过匹配动作之间的余弦相似度与对应潜在差异的相似度，仅使用来自像素-动作对的局部转移。该损失函数可以在各种世界模型架构中应用，支持端到端学习或预训练表示。在理论分析中，CGS与时间直化和更平衡的终端成本曲率相联系，为MPPI提供有限预算保证，为CEM提供局部收缩结果，并为梯度下降提供收敛界限。在四个控制环境和多个规划器中，CGS在减少采样候选和优化步骤的情况下提升了规划效果，成功率较LeWorldModel（LeWM）和其时间直化变体（LeWM+TS）分别提高了20和12.6个百分点。
🔬 方法详解
问题定义：本文解决的是在基于潜在世界模型的规划中，如何提高规划目标的优化效率和采样效率的问题。现有方法虽然能进行准确的转移预测，但在实际应用中仍面临优化困难和采样不足的挑战。
核心思路：论文的核心思路是通过控制几何直化（CGS）来学习规划友好的表示。CGS通过匹配动作之间的余弦相似度与潜在差异的相似度，直接优化控制几何，从而使得找到有效的动作序列变得更加容易。
技术框架：整体架构包括一个损失函数，该函数通过局部转移信息来优化控制几何。CGS可以在多种世界模型架构中应用，支持端到端学习或使用预训练的表示。
关键创新：最重要的技术创新点在于引入了控制几何直化这一单一辅助损失，直接优化了动作之间的相似性，从而提升了规划的效率。这一方法与传统的基于预测的规划方法有本质区别。
关键设计：关键设计包括损失函数的构建，确保其能够有效地匹配动作之间的余弦相似度，并利用局部转移信息进行优化。此外，论文还探讨了不同的参数设置和网络结构，以确保CGS在不同环境中的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CGS在四个控制环境中显著提高了规划效果，成功率较LeWorldModel（LeWM）和其时间直化变体（LeWM+TS）分别提升了20和12.6个百分点，且在每次更新中仅使用128个候选进行采样，展示了其高效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、智能制造等需要高效规划的场景。通过优化规划过程，CGS能够在有限的计算资源下实现更高的成功率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Joint-embedding predictive architectures enable planning with latent world models, but accurate transition prediction alone does not ensure that the planning objective is easy to optimize. We introduce Control-Geometry Straightening (CGS), a single auxiliary loss that learns planner-friendly representations by directly straightening control geometry for sampling-efficient planning. CGS matches pairwise cosine similarities among actions to those among corresponding latent differences only using local transitions from pixel-action pairs. The loss can be applied across world-model architectures using end-to-end learned or pretrained representations. Under linear-dynamics, our theoretical analysis connects this objective to temporal straightening and more balanced terminal-cost curvature across the full planning horizon, yielding finite-budget guarantees for MPPI, local contraction results for CEM, and convergence bounds for gradient descent. Across four control environments and multiple planners, CGS improves planning with fewer sampled candidates and refinement steps, achieving success-rate gains up to 20 and 12.6 percentage points over LeWorldModel (LeWM) and its temporal-straightening variant (LeWM+TS), respectively, with sampling-based planners using 128 candidates per update. Probes, comparisons with DINO-WM architecture, and planner-side ablations clarify how latent motion organization, state dependence, and dynamical context shape planning behavior. Straightening control geometry thus makes good action sequences easier to find under limited planning budgets.