Reachability-Aware Diffusion Policy Optimization

📄 arXiv: 2610.05969v1 📥 PDF

作者: Hikmet Simsir, Kutay Demiray, Ozgur S. Oguz

分类: cs.LG, cs.RO

发布日期: 2026-10-05

备注: Under review at ICLR 2027

💡 一句话要点

提出可达性感知扩散策略优化以解决安全性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 扩散策略 强化学习 安全感知 可达性估计 无模型方法 成本预算 机器人控制 连续控制

📋 核心要点

  1. 现有的扩散策略在安全感知的在线优化方面研究不足，尤其是在缺乏动力学模型的情况下使用可达性信息的策略。
  2. 本文提出RADPO，通过结合预测的首次到达安全估计与累积成本预算反馈，来优化扩散策略的安全性。
  3. 在十个连续控制安全任务中，RADPO实现了竞争性的奖励-成本权衡，并显著减少了约束违规情况，验证了其有效性。

📝 摘要（中文）

扩散策略为连续控制强化学习提供了丰富的动作分布。然而，安全感知的在线扩散策略优化仍然未得到充分探索，尤其是那些在没有显式动力学模型的情况下使用预测可达性信息的方法。本文提出了可达性感知扩散策略优化（RADPO），这是一种无模型的方法，结合了预测的首次到达安全估计与累积成本预算反馈。RADPO学习折扣的首次到达可达性值，捕捉成本事件的折扣风险，并根据事件发生的时间赋予更大权重。通过加权去噪回归，扩散演员在奖励评论员评分的候选动作上进行改进。我们的研究在十个连续控制安全任务中实现了竞争性的奖励-成本权衡，并在多个任务上显著减少了约束违规情况。

🔬 方法详解

问题定义：本文旨在解决安全感知的在线扩散策略优化问题，现有方法在没有显式动力学模型的情况下难以有效利用可达性信息，导致安全性不足。

核心思路：RADPO通过学习折扣的首次到达可达性值，结合累积成本预算反馈，优化奖励信号，从而提高策略的安全性和有效性。

技术框架：RADPO的整体架构包括三个主要模块：首先，学习折扣的首次到达可达性值；其次，使用加权去噪回归改进扩散演员；最后，调整奖励信号以反映实际的成本预算。

关键创新：RADPO的主要创新在于结合了可达性值与累积成本反馈，提供了一种无模型的方法来优化扩散策略的安全性，与现有方法相比，显著提高了安全性和效率。

关键设计：在设计中，RADPO使用了加权的去噪回归技术，设置了适当的损失函数以反映成本预算，并通过双重乘子调整奖励信号的强度，以适应实际的任务需求。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在十个连续控制安全任务中，RADPO在奖励-成本权衡方面表现出色，相较于基线方法，约束违规情况显著减少，验证了其在安全感知优化中的有效性和可行性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、无人机导航等需要高安全性的连续控制任务。通过优化扩散策略的安全性，RADPO能够在复杂环境中实现更安全的决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Diffusion policies provide expressive action distributions for continuous-control reinforcement learning. However, safety-aware online diffusion policy optimization remains underexplored, particularly methods that use predictive reachability information without an explicit dynamics model. We propose Reachability-Aware Diffusion Policy Optimization (RADPO), a model-free method that combines predictive first-hit safety estimation with cumulative-cost budget feedback. RADPO learns a discounted first-hit reachability value that captures the discounted risk of a cost event, assigns larger weight to events that occur sooner, and uses this signal to shape the reward. A separate dual-like multiplier adjusts the shaping strength according to realized episodic costs relative to a prescribed budget. The diffusion actor improves through weighted denoising regression on candidate actions scored by the reward critic. Our approach requires neither a learned dynamics model, action gradients through the critics, nor differentiation through the reverse diffusion sampler. We establish theoretical properties of the reachability value and show that accumulated reachability penalty provides a conservative surrogate for future discounted cumulative cost. Across ten continuous-control safety tasks, RADPO achieves competitive reward-cost trade-offs, with substantial reductions in constraint violations on several tasks relative to the compared baselines. Our theoretical and empirical analysis supports that combining reachability with cumulative budget feedback is a viable approach to safety-aware diffusion policies.