GRID-Planner: Graph-Structured Relational Reward Shaping for Diffusion Planning

📄 arXiv: 2610.21984v1 📥 PDF

作者: Zhao Yang, Zezhong Qian, Yinan Shi, Longjun Liu, Yawei Jueluo

分类: cs.RO, cs.CV

发布日期: 2026-10-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出GRID-Planner以解决复杂多智能体环境下的自主驾驶规划问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自主驾驶 扩散规划 强化学习 多智能体系统 图结构奖励 决策优化 交通安全

📋 核心要点

  1. 现有的扩散和强化学习规划方法在复杂多智能体交互中面临安全性和合规性不足的问题。
  2. GRID-Planner通过结合图结构奖励和扩散规划，提出了一种新的规划框架，增强了策略改进的有效性。
  3. 实验结果显示，GRID-Planner在多个指标上显著优于传统方法，提升了规划的安全性和舒适性。

📝 摘要（中文）

自主驾驶规划需要在复杂的多智能体交互中选择安全、合规且舒适的轨迹，但在关键场景下的闭环决策仍然具有挑战性。现有的基于扩散和强化学习的规划器通常依赖于通用奖励，并且主要将关系结构用于表示，限制了规划关键的回放对策略改进的影响。本文提出了GRID-Planner，一个图结构奖励集成的扩散规划框架，将生成规划与结构化的关系信号对齐。GRID-Planner结合了图感知的重要性加权、时间索引的关系奖励替代和优势加权的扩散目标，形成了一个无需显式似然的回放-返回-优势-更新循环。实验结果表明，与仅使用扩散的基线相比，GRID-Planner在nuPlan和interPlan数据集上分别减少了35.8%、60.8%和27.4%的碰撞率、车道偏离和颠簸，并提高了规划得分3.4%。

🔬 方法详解

问题定义：本文旨在解决自主驾驶中复杂多智能体环境下的规划问题，现有方法在安全性、合规性和舒适性方面存在不足，尤其是在关键场景下的决策能力较弱。

核心思路：GRID-Planner的核心思路是将图结构奖励与扩散规划相结合，通过引入关系奖励和优势加权机制，优化策略改进过程，提升决策的有效性。

技术框架：GRID-Planner的整体架构包括三个主要模块：图感知的重要性加权模块、时间索引的关系奖励替代模块和优势加权的扩散目标模块。这些模块共同构成了一个高效的回放-返回-优势-更新循环。

关键创新：GRID-Planner的主要创新在于将图结构与扩散规划相结合，形成了一种新的奖励机制，能够更好地捕捉多智能体交互中的关系信息，从而显著提升规划性能。

关键设计：在设计中，GRID-Planner采用了时间索引的关系奖励替代，确保奖励信号能够动态反映环境变化，同时使用优势加权的扩散目标来优化策略更新，避免了显式似然的计算。具体的参数设置和损失函数设计也经过精心调整，以确保模型的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GRID-Planner在nuPlan和interPlan数据集上相比于传统的扩散基线，碰撞率减少了35.8%，车道偏离率降低了60.8%，颠簸程度降低了27.4%，规划得分提升了3.4%，显示出显著的性能改进。

🎯 应用场景

GRID-Planner的研究成果具有广泛的应用潜力，特别是在自动驾驶、智能交通系统和机器人导航等领域。通过提升多智能体环境下的决策能力，该方法能够有效提高交通安全性和行驶舒适性，推动智能交通技术的发展。

📄 摘要（原文）

Autonomous driving planning requires selecting trajectories that remain safe, rule-compliant, and comfortable under complex multi-agent interactions, yet robust closed-loop decision making in planning-critical scenes remains challenging. Existing diffusion- and RL-based planners often rely on generic rewards and use relational structure mainly for representation, limiting how planning-critical rollouts shape policy improvement. We present GRID-Planner, a graph--reward integrated diffusion planning framework that aligns generative planning with structured relational signals. Specifically, GRID-Planner combines graph-aware importance weighting, a time-indexed relational reward surrogate, and an advantage-weighted diffusion objective with on-policy self-distillation, forming a rollout-return-advantage-update loop without explicit likelihoods. Experiments on nuPlan and interPlan show that, compared with the diffusion-only baseline, GRID-Planner reduces collision rate, lane deviation, and jerk by 35.8\%, 60.8\%, and 27.4\%, respectively, and improves the planning score by 3.4\%. Project website: https://github.com/yangzhaojason/GRID-Planner.