Toward Trusted Onboard AI: Advancing Small Satellite Operations using Reinforcement Learning
作者: Cannon Whitney, Joseph Melville
分类: eess.SY, cs.RO
发布日期: 2025-07-29
备注: 11 pages, 2 figures, 2 tables, accepted to the 39th Small Satellite Conference
💡 一句话要点
提出基于强化学习的宏控制动作方法，提升小卫星在轨自主性和可靠性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 卫星控制 自主控制 数字孪生 宏控制动作 在轨验证 人工智能
📋 核心要点
- 现有卫星控制的强化学习研究主要集中在仿真环境，缺乏在轨验证和实际部署。
- 论文提出一种宏控制动作强化学习方法，将高级指令转化为低级指令，降低控制复杂度。
- 通过构建数字孪生进行训练，并将策略部署到隔离环境进行验证，确保在轨安全。
📝 摘要（中文）
本文提出了一种用于3U CubeSat在轨指令自动化的强化学习（RL）算法。该方法侧重于宏控制动作强化学习的实现，即为在轨智能体提供基于实时遥测数据的编译信息作为观测。智能体利用这些信息生成高级动作，例如调整姿态以进行太阳指向，然后将其转换为控制算法并通过低级指令执行。一旦建立了对在轨智能体的信任，就可以利用实时环境信息来缩短响应时间并减少对地面控制的依赖。该方法不仅专注于为特定卫星开发强化学习算法，还为将可信AI集成到在轨系统奠定了基础。本研究建立在以下三个领域的前期工作之上：(1) 用于发布高级命令的强化学习算法，这些命令被转换为低级可执行指令；(2) 与实时操作系统的AI推理模型部署，特别是在航天器上；(3) 构建对AI系统信任的策略，特别是对于远程和自主应用。现有的卫星控制强化学习研究主要局限于基于仿真的实验；在这项工作中，通过构建特定航天器的数字孪生并训练强化学习智能体在该模拟环境中发布宏动作来定制这些技术。训练后的智能体的策略被复制到一个隔离的环境中，在该环境中，它被输入关于卫星的编译信息以进行推理预测，从而在不授予其命令权限的情况下证明了强化学习算法在轨道上的有效性。此过程能够安全地将算法的预测与实际卫星行为进行比较，并确保在预期参数范围内运行。
🔬 方法详解
问题定义：现有卫星控制的强化学习方法主要依赖于仿真环境，难以直接部署到实际卫星上。此外，直接控制底层指令会导致动作空间过大，训练困难，且难以保证控制策略的安全性与可靠性。
核心思路：论文的核心思路是将强化学习应用于高级控制指令的生成，即“宏控制动作”。通过将高级指令（如姿态调整）转化为一系列底层指令，降低了控制的复杂性，并提高了控制策略的可解释性和安全性。同时，利用数字孪生技术进行训练，并在隔离环境中进行验证，确保在轨部署的安全性。
技术框架：该方法包含以下几个主要阶段：1) 构建卫星的数字孪生模型，用于强化学习训练；2) 设计强化学习智能体，以实时遥测数据作为输入，输出高级控制指令（宏动作）；3) 将高级控制指令转化为低级可执行指令；4) 在隔离环境中部署训练好的策略，并与实际卫星行为进行对比验证。
关键创新：该方法最重要的创新点在于宏控制动作强化学习的应用。与直接控制底层指令相比，宏控制动作降低了控制的复杂性，提高了控制策略的可解释性和安全性。此外，通过数字孪生和隔离环境验证，确保了在轨部署的安全性。
关键设计：论文中关键的设计包括：1) 强化学习算法的选择（具体算法未知）；2) 状态空间的设计，即如何将实时遥测数据编译成智能体可用的信息；3) 动作空间的设计，即高级控制指令的定义；4) 奖励函数的设计，用于引导智能体学习期望的控制策略。
📊 实验亮点
该研究通过构建数字孪生进行强化学习训练，并将训练好的策略部署到隔离环境中进行验证，成功地将强化学习算法应用于实际卫星控制。虽然文中没有给出具体的性能数据，但通过在轨验证，证明了该方法的可行性和安全性，为后续的实际部署奠定了基础。
🎯 应用场景
该研究成果可应用于各类卫星的在轨自主控制，例如姿态控制、能源管理、故障诊断与恢复等。通过减少对地面控制的依赖，可以提高卫星的响应速度和任务执行效率，降低运营成本。此外，该方法也为可信AI在航天领域的应用奠定了基础，未来可扩展到更复杂的航天任务中。
📄 摘要（原文）
A RL (Reinforcement Learning) algorithm was developed for command automation onboard a 3U CubeSat. This effort focused on the implementation of macro control action RL, a technique in which an onboard agent is provided with compiled information based on live telemetry as its observation. The agent uses this information to produce high-level actions, such as adjusting attitude to solar pointing, which are then translated into control algorithms and executed through lower-level instructions. Once trust in the onboard agent is established, real-time environmental information can be leveraged for faster response times and reduced reliance on ground control. The approach not only focuses on developing an RL algorithm for a specific satellite but also sets a precedent for integrating trusted AI into onboard systems. This research builds on previous work in three areas: (1) RL algorithms for issuing high-level commands that are translated into low-level executable instructions; (2) the deployment of AI inference models interfaced with live operational systems, particularly onboard spacecraft; and (3) strategies for building trust in AI systems, especially for remote and autonomous applications. Existing RL research for satellite control is largely limited to simulation-based experiments; in this work, these techniques are tailored by constructing a digital twin of a specific spacecraft and training the RL agent to issue macro actions in this simulated environment. The policy of the trained agent is copied to an isolated environment, where it is fed compiled information about the satellite to make inference predictions, thereby demonstrating the RL algorithm's validity on orbit without granting it command authority. This process enables safe comparison of the algorithm's predictions against actual satellite behavior and ensures operation within expected parameters.