Reachability-Informed Reinforcement Learning for Multi-Impulse Interplanetary Transfers
作者: Yashdeep Chaudhary, Roberto Armellin, Harry Holt
分类: math.OC, cs.LG, eess.SY
发布日期: 2026-10-01
备注: Preprint. 23 pages, 10 figures
💡 一句话要点
提出基于可达性分析的强化学习方法以优化多脉冲星际转移
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 强化学习 可达性分析 星际转移 航天器轨迹 多脉冲机动 天体动力学 数值研究
📋 核心要点
- 现有方法在航天器轨迹设计中缺乏有效的决策机制，导致多脉冲星际转移的效率低下。
- 本文提出的RARL方法通过可达性分析引导决策过程，优化中间航点选择，结合经典天体动力学。
- 实验结果显示，RARL在多状态策略下实现了100%成功率，显著提高了轨迹的可行性和成本效益。
📝 摘要（中文）
强化学习为航天器轨迹设计提供了一种可重用的顺序决策机制，本文提出了可达性分析引导的强化学习（RARL）方法，专注于确定性多脉冲星际转移中的中间航点选择。通过局部一阶可达性图，将速度扰动限制在椭球形的下一个节点位置集合中，策略在此范围内选择航点。随后，利用Lambert重构确定沿动态一致的弹道弧到达所选航点的相应机动。最终的两脉冲重构完成会合，结合线性机动需求评估用于奖励塑形。数值研究在地球-火星基准上表征了该接口，RARL在三次独立训练中实现了平均机动成本10.23 km/s，较验证的局部顺序凸规划参考高出1.72%。
🔬 方法详解
问题定义：本文旨在解决航天器在多脉冲星际转移中的轨迹设计问题，现有方法在决策效率和可行性上存在不足，难以应对复杂的动力学约束。
核心思路：RARL方法通过可达性分析引导强化学习过程，聚焦于中间航点的选择，从而提高决策的准确性和效率。此设计使得学习到的策略能够与经典天体动力学相结合，确保轨迹的可行性。
技术框架：该方法的整体架构包括局部一阶可达性图的构建、航点选择策略的学习、Lambert重构的实施以及最终的两脉冲重构。每个模块相互关联，形成一个闭环的决策过程。
关键创新：RARL的主要创新在于将可达性分析与强化学习相结合，使得策略不仅依赖于学习的经验，还能有效地考虑动力学约束，从而实现更高的轨迹设计质量。
关键设计：在参数设置上，采用了线性机动需求评估作为奖励塑形的基础，确保策略在训练过程中能够有效地优化机动成本和成功率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RARL在三次独立训练中实现了平均机动成本10.23 km/s，成功率达到100%，相比单状态策略的6.49%可行性率有显著提升，展示了该方法在多状态策略下的优越性。
🎯 应用场景
该研究的潜在应用领域包括航天器轨迹优化、深空探测任务及其他需要高效决策的航天任务。通过提高轨迹设计的可行性和效率，RARL方法有望在未来的航天任务中发挥重要作用，降低成本并提高成功率。
📄 摘要（原文）
Reinforcement learning offers the prospect of a reusable sequential decision-making mechanism for spacecraft trajectory design, motivating policy interfaces that connect learned decisions to the underlying maneuver geometry. This paper develops Reachability Analysis-Informed Reinforcement Learning (RARL) for deterministic multi-impulse interplanetary transfers, placing intermediate waypoint selection at the center of the learned decision process. Local first-order reachability maps bounded velocity perturbations into an ellipsoidal set of next-node positions, within which the policy selects its waypoint. Lambert reconstruction then determines the corresponding maneuver to reach this selected waypoint along a dynamically consistent ballistic arc, coupling learned transfer-geometry selection with classical astrodynamics. A terminal two-impulse reconstruction completes the rendezvous, supported by a linear maneuver-demand assessment used for reward shaping. Numerical studies characterize this interface on a two-body Earth-Mars benchmark. Across three independent training runs, RARL achieves a mean maneuver cost of 10.23 km/s, 1.72% above a validated local sequential convex programming reference. Training over dispersed initial states extends policy reuse across a departure family with fixed target state and transfer duration. Each of the three independently trained multi-state policies completes all 10,000 held-out Monte Carlo departures without impulse-cap violations, compared with a mean feasibility rate of 6.49% for single-state policies. This broader sampled feasibility is accompanied by a 0.61% increase in mean nominal maneuver cost, without further training across departures. These results demonstrate that a reachability-informed decision interface supports benchmark-quality trajectory construction and policy reuse across dispersed departure conditions.