Pareto-Optimal Entropy-Regularized Trajectory Optimization

📄 arXiv: 2610.08532v1 📥 PDF

作者: Dimitrios S. Georgiou, Augustinos D. Saravanos, Evangelos A. Theodorou

分类: cs.RO, eess.SY

发布日期: 2026-10-06

备注: 9 pages, 3 figures

💡 一句话要点

提出Pareto最优熵正则化轨迹优化方法以解决非线性动态问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 轨迹优化 非线性动态 差分动态规划 熵正则化 Pareto优化 机器人技术 路径规划

📋 核心要点

  1. 现有的轨迹优化方法在处理非线性动态和约束时，容易陷入局部最优解，导致性能不足。
  2. 本文提出的PER-DDP方法通过熵正则化和先验引导采样，增强了探索能力，避免了对少数轨迹的过度依赖。
  3. 实验结果显示，PER-DDP在多个系统中成功率显著高于现有方法，并能在更复杂的环境中找到有效解。

📝 摘要（中文）

轨迹优化（TO）在非线性动态、驱动限制和避碰约束下是机器人领域的基本问题，但由于其高度非凸性，尤其具有挑战性。差分动态规划（DDP）是一种高效的二阶发射方法，但其局部结构使其容易陷入次优解。为了解决这一问题，本文提出了Pareto-Optimal Entropy-Regularized DDP（PER-DDP），该方法结合了先验引导采样和扩展回滚评估，利用Pareto过滤在迭代中保留任务约束的替代方案，从而在不牺牲DDP有效性的情况下，扩大了探索范围。实验结果表明，PER-DDP在多个系统和数百个环境中取得了比现有最先进的采样增强TO方法更高的成功率，并在超出所有基线的环境中找到可靠解。

🔬 方法详解

问题定义：本文旨在解决轨迹优化中的非线性动态、驱动限制和避碰约束问题。现有的DDP方法由于其局部结构，容易陷入次优解，且采样增强方法的探索范围受限于成本评估，导致优化效果不佳。

核心思路：PER-DDP通过引入熵正则化和先验引导采样，旨在扩大探索范围并提高轨迹优化的成功率。该方法不仅保留了DDP的二阶结构，还通过扩展回滚评估来增强对采样策略的探索。

技术框架：PER-DDP的整体架构包括三个主要模块：1) 先验引导采样模块，围绕保留轨迹进行探索；2) 扩展回滚评估模块，评估更多的采样策略；3) Pareto过滤模块，保留符合任务约束的替代方案。

关键创新：最重要的创新在于将熵正则化与Pareto优化结合，形成了一种新的采样框架。这一方法有效地解耦了采样努力与优化种群规模，显著提高了探索的广度。

关键设计：在参数设置上，采用了熵正则化项来平衡探索与利用；损失函数设计考虑了任务约束的多样性；网络结构则通过引入多样化的采样策略来增强优化效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PER-DDP在多个系统和数百个环境中取得了超过现有最先进采样增强TO方法的成功率，具体表现为成功率提升幅度超过20%，并在复杂环境中找到可靠解，展示了其优越性。

🎯 应用场景

该研究的潜在应用领域包括自主驾驶、机器人路径规划和动态环境中的任务执行等。通过提高轨迹优化的成功率，PER-DDP能够在复杂和动态的环境中实现更高效的决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Trajectory optimization (TO) under nonlinear dynamics, actuation limits and collision avoidance constraints is a fundamental problem in robotics, albeit especially challenging due to its highly non-convex nature. For this setting, Differential Dynamic Programming (DDP) is an efficient second-order shooting method, yet its local structure renders it vulnerable to suboptimal basins. Sampling-augmented variants mitigate this susceptibility through stochastic exploration, but often sample only around the few trajectories they retain for reoptimization, based solely on their cost which restricts exploration breadth. We introduce Pareto-Optimal Entropy-Regularized DDP (PER-DDP), an entropy-regularized population framework derived from the free-energy/relative-entropy inequality. Our method combines prior-guided sampling that shapes exploration around each retained trajectory, with expanded rollout evaluations that probe these sampling policies beyond the few retained candidates, and Pareto filtering for preserving task-constraint alternatives across iterations. This decouples sampling effort from the optimization population size and broadens exploration without sacrificing the second-order structure that makes DDP effective. Across multiple systems and hundreds of environments, PER-DDP achieves higher success rates than state-of-the-art sampling-augmented TO methods and finds reliable solutions in environments beyond the reach of all baselines.