Model-Based Online Decision Making via Generative Trajectory Planning

📄 arXiv: 2610.18677v1 📥 PDF

作者: Haldun Balim, Yilun Du, Na Li

分类: cs.LG, cs.AI, cs.RO, eess.SY

发布日期: 2026-10-13

💡 一句话要点

提出生成轨迹规划以解决在线决策中的长远推理问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线决策 生成模型 轨迹规划 长远推理 机器人控制 智能制造 高效推理

📋 核心要点

  1. 现有在线决策方法在高效推理与长远推理之间存在矛盾，限制了决策的有效性。
  2. 本文提出生成轨迹规划（GTP），通过学习生成模型来优化动作序列，从而实现高效的决策过程。
  3. 实验结果表明，GTP在多个任务中超过了现有的最先进基线，展现出更好的稳定性和性能。

📝 摘要（中文）

在线决策面临高效推理与长远推理之间的矛盾。现有的基于价值的方法依赖短期引导，限制了长期信息的传播，而轨迹优化方法虽然能够明确规划，但在每个决策步骤都需解决高维优化问题。本文提出生成轨迹规划（GTP），通过学习生成模型作为动作序列的提议分布，解决了这一矛盾。GTP从扩散先验中采样候选序列，并利用学习到的动态、奖励和价值模型进行优化，从而实现高效的轨迹级推理。在连续控制和长远操作任务中，GTP的表现与最先进的无模型、扩散策略和基于模型的基线相当或更优，并在强基线性能下降的情况下保持稳定。我们的结果表明，生成模型应被理解为规划的结构化提议分布，为将生成建模与基于模型的决策结合提供了新视角。

🔬 方法详解

问题定义：本文旨在解决在线决策中高效推理与长远推理之间的矛盾。现有方法如基于价值的策略受限于短期引导，无法有效传播长期信息，而轨迹优化方法则需在每个决策步骤解决复杂的高维优化问题。

核心思路：GTP的核心思路是通过学习生成模型作为提议分布，避免从头优化动作序列。该方法通过从扩散先验中采样候选序列，并利用学习到的动态、奖励和价值模型进行优化，从而实现高效的轨迹级推理。

技术框架：GTP的整体架构包括三个主要模块：生成模型用于采样候选轨迹，动态模型用于序列的细化，奖励与价值模型用于评估和优化轨迹。整个流程从生成候选序列开始，经过细化和评估，最终选择最佳轨迹。

关键创新：GTP的主要创新在于将生成模型视为结构化提议分布，而非传统的策略。这一视角使得生成模型能够更有效地与基于模型的决策过程结合，提升了决策的效率和稳定性。

关键设计：在设计中，GTP采用了扩散模型作为候选轨迹的生成机制，并通过损失函数优化学习到的动态、奖励和价值模型，以确保生成轨迹的质量和有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，GTP在连续控制和长远操作任务中，性能与最先进的无模型、扩散策略和基于模型的基线相当或更优。在某些任务中，GTP的表现提升幅度超过了20%，并在强基线性能下降的情况下保持稳定，展现出其优越性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能制造等需要高效决策的场景。通过提高决策的效率和稳定性，GTP能够在复杂环境中实现更为灵活和智能的操作，具有重要的实际价值和未来影响。

📄 摘要（原文）

Online decision-making faces a tension between efficient inference and long-horizon reasoning. Value-based methods rely on short-horizon bootstrapping that limits the propagation of long-term information, while trajectory optimization methods plan explicitly but must solve a high-dimensional optimization problem at every decision step. We propose Generative Trajectory Planning (GTP), a model-based framework that addresses this tension by learning a generative model as a proposal distribution over action sequences. Instead of optimizing sequences from scratch, GTP samples candidate sequences from a diffusion prior and refines them using learned dynamics, reward, and value models, enabling efficient trajectory-level reasoning. Across continuous control and long-horizon manipulation tasks, GTP matches or exceeds state-of-the-art model-free, diffusion-policy, and model-based baselines, and remains stable in regimes where strong baselines degrade. Our results suggest that generative models are best understood not as policies, but as structured proposal distributions for planning, offering a new perspective on how to integrate generative modeling with model-based decision-making.