Safe Reinforcement Learning Beyond Baseline Control: A Hierarchical Framework for Space Triangle Tethered Formation System
作者: Xinyi Tao, Panfeng Huang, Fan Zhang
分类: eess.SY
发布日期: 2026-01-08
备注: This work has been submitted to the IEEE for possible publication
💡 一句话要点
提出一种用于空间三角形系绳编队系统的分层强化学习安全控制框架
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 系绳编队 空间控制 软演员-评论家 模型参考控制
📋 核心要点
- 传统TTFS控制方法难以平衡配置精度、张力约束和能源效率，面临耦合动力学和扰动敏感性的挑战。
- 提出一种模型参考强化学习控制框架，结合基线模型控制和SAC补偿器，实现高精度、高效率和安全约束。
- 实验结果表明，该控制器显著降低了跟踪误差和燃料消耗，验证了其在TTFS部署控制中的有效性和稳定性。
📝 摘要（中文）
本文针对三角形系绳编队系统（TTFS）提出了一种新型模型参考强化学习控制框架。该系统由于其固有的空间方向稳定性和通过系绳部署和回收来调整节点卫星之间距离的能力，为深空探测和分布式传感提供了一个有前景的平台。然而，由于TTFS耦合的系绳-卫星动力学和对扰动的敏感性，传统的控制方法难以在配置精度要求、张力约束和整个部署过程中的能源效率消耗之间实现平衡。通过将基于模型的基线控制与软演员-评论家（SAC）补偿器相结合，该方法同时实现了高精度跟踪、燃料效率和符合张力限制。开发了一种分层训练方案，以解决集中训练中强耦合状态引起的收敛困难，同时设计了定制的奖励函数、重置条件和归一化标准，以加速训练收敛。使用李雅普诺夫方法严格证明了整体控制律的闭环稳定性。仿真结果表明，与基线方法相比，所提出的控制器将系绳的稳态跟踪误差降低了96%以上，节点卫星的稳态跟踪误差降低了99%以上，同时燃料消耗降低了两个数量级。这些结果验证了所提出的TTFS部署控制方法的有效性和稳定性。
🔬 方法详解
问题定义：论文旨在解决三角形系绳编队系统（TTFS）在部署过程中难以同时满足高精度跟踪、燃料效率和张力约束的问题。现有方法由于TTFS的耦合动力学和对扰动的敏感性，难以在这些目标之间取得平衡，导致性能受限。
核心思路：论文的核心思路是将传统的基于模型的控制方法与强化学习相结合，利用基于模型的控制提供初始控制，并使用强化学习（具体为SAC算法）作为补偿器，对基线控制器的不足进行修正和优化，从而实现更优的控制性能。这种混合方法旨在结合两者的优点，既保证了系统的基本性能，又通过强化学习提升了控制的鲁棒性和适应性。
技术框架：整体框架是一个分层控制结构。首先，使用基于模型的基线控制器提供初始控制信号。然后，SAC补偿器基于系统的状态和基线控制器的输出，生成额外的控制信号，以修正基线控制器的不足。为了解决集中训练的收敛问题，采用了分层训练方案。此外，还设计了定制的奖励函数、重置条件和归一化标准，以加速训练过程。
关键创新：该方法最重要的创新点在于将模型参考控制与强化学习相结合，并采用分层训练方案。与传统的单一控制方法相比，这种混合方法能够更好地处理TTFS的复杂动力学和约束条件。分层训练方案解决了集中训练中由于状态强耦合而导致的收敛困难。
关键设计：奖励函数的设计至关重要，它需要同时考虑跟踪误差、燃料消耗和张力约束。重置条件的设计需要保证训练过程的稳定性和探索性。归一化标准的设计需要保证输入数据的尺度一致性，从而加速训练收敛。SAC算法中的温度参数需要仔细调整，以平衡探索和利用。
📊 实验亮点
实验结果表明，与基线方法相比，所提出的控制器将系绳的稳态跟踪误差降低了96%以上，节点卫星的稳态跟踪误差降低了99%以上，同时燃料消耗降低了两个数量级。这些显著的性能提升验证了该方法在TTFS部署控制中的有效性和优越性。
🎯 应用场景
该研究成果可应用于深空探测、分布式传感等领域，尤其是在需要精确控制和能量效率的航天任务中。通过系绳系统实现卫星编队飞行，可以降低发射成本，提高任务灵活性。该方法在其他复杂航天器控制任务中也具有潜在的应用价值，例如大型空间结构的组装和维护。
📄 摘要（原文）
Triangular tethered formation system (TTFS) provide a promising platform for deep space exploration and distributed sensing due to its intrinsic spatial-orientation stability and capability of adjusting distances among node satellites through deployment and retrieval of tethers. However, due to the coupled tether-satellite dynamics and disturbance sensitivity of TTFS, traditional control methods struggle to achieve a balanced trade-off among configuration accuracy requirements, tension constraints, and energy efficiency consumption throughout the deployment process.In this paper, a novel model-reference reinforcement learning control framework is proposed for TTFS. By integrating baseline model-based control with a Soft Actor-Critic (SAC) compensator, the proposed method simultaneously achieves high-precision tracking, fuel efficiency, and compliance with tension limits. A hierarchical training scheme is developed to address the convergence difficulties arising from strongly coupled states in centralized training, while tailored reward functions, reset conditions, and normalization criteria are designed to accelerate training convergence. Closed-loop stability of the overall control law is rigorously proven using Lyapunov methods. Simulation results demonstrate that the proposed controller reduces steady-state tracking errors by over 96% for tethers and 99% for node satellites, while cutting fuel consumption by two orders of magnitude compared with the baseline method. These results validate the effectiveness and stability of the proposed approach for TTFS deployment control.