PPO vs. SAC: A Comparative Study for Cooperative Motion Control of Dual-Arm Space Robots

📄 arXiv: 2610.32034v1 📥 PDF

作者: Nasim Fallahiarezoodar, Zheng H. Zhu

分类: cs.AI

发布日期: 2026-10-23

备注: Presented at the 2026 AAS/AIAA Astrodynamics Specialist Conference, Whistler, British Columbia, Canada, July 26-30, 2026. Paper AAS 26-740

💡 一句话要点

提出协调强化学习框架以解决双臂空间机器人运动控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 双臂空间机器人 强化学习 运动控制 碰撞避免 任务规划 SAC PPO

📋 核心要点

  1. 现有方法在双臂空间机器人协调控制中面临相互碰撞避免和方向对齐的挑战，尤其是在感知不确定性下。
  2. 本文提出了一种协调强化学习框架，结合了关节空间、末端执行器和目标相对信息，以实现双臂操纵器的合作运动规划。
  3. 实验结果表明，SAC算法在固定基座仿真场景中显著优于PPO，成功率达到80%，而PPO未能达到该阈值。

📝 摘要（中文）

随着轨道碎片数量的增加，主动碎片移除和在轨服务的兴趣日益增强，而双臂空间操纵器相较于单臂系统在抓取稳定性和负载分配方面具有优势。然而，在协调两个操纵器时，避免相互碰撞、对齐方向和感知不确定性仍然是挑战。本文开发了一种协调强化学习框架，用于在目标到达任务中进行双臂空间操纵器的合作运动规划，并考虑了相互碰撞避免的约束。通过比较近端策略优化（PPO）和软演员评论家（SAC）算法，结果显示SAC在成功率和运动精度上显著优于PPO。

🔬 方法详解

问题定义：本文旨在解决双臂空间机器人在目标到达任务中协调运动控制的问题，现有方法在相互碰撞避免和方向对齐方面存在不足，尤其在感知不确定性下表现不佳。

核心思路：论文提出的解决方案是一个协调强化学习框架，通过集中状态表示和多目标奖励函数来优化双臂操纵器的运动规划，确保任务的成功完成和碰撞避免。

技术框架：该框架包括状态表示模块、奖励函数设计和策略学习模块。状态表示结合了关节空间、末端执行器位置和目标相对信息，奖励函数则促进目标到达精度、方向对齐、运动平滑性和任务同步。

关键创新：最重要的技术创新在于将PPO和SAC算法进行比较，揭示了SAC在处理未见目标配置时的优越性，特别是在成功率和运动精度方面的显著提升。

关键设计：在设计中，采用了多目标奖励函数，强调目标到达和碰撞避免，同时在SAC中保持了较高的成功率和较低的误差，确保了双臂的同步性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，SAC算法在五个随机种子下均达到80%的成功率（中位数1.6M环境步骤），而PPO在4M步骤预算内未能达到该阈值。SAC的平均成功率为78.6%，而PPO仅为7.4%，同时在位置和方向误差上表现更优。

🎯 应用场景

该研究的潜在应用领域包括轨道碎片的主动移除和在轨服务任务，双臂空间操纵器能够在复杂环境中进行精确操作，未来可能在航天任务中发挥重要作用，提升空间操作的安全性和效率。

📄 摘要（原文）

The growing population of orbital debris has intensified interest in active debris removal and on-orbit servicing, for which dual-arm space manipulators offer improved grasping stability and load distribution relative to single-arm systems. However, coordinating two manipulators under inter-arm collision avoidance, orientation alignment, and sensing uncertainty remains challenging. This paper develops a coordinated reinforcement learning framework for cooperative motion planning of a dual-arm space manipulator in a target-reaching task with inter-arm collision-avoidance constraints. A centralized state representation combines joint-space, end-effector, and target-relative information, while a multi-objective reward function promotes target-reaching accuracy, orientation alignment, motion smoothness, synchronized task completion, and collision avoidance. Within this framework, Proximal Policy Optimization (PPO) and Soft Actor-Critic (SAC) are compared as representative on-policy and off-policy algorithms, and the learned policies are further evaluated for generalization to previously unseen target configurations. Across five random seeds, SAC substantially outperforms PPO within the considered fixed-base simulation scenarios: it reaches an 80% success threshold in every seed (median 1.6M environment steps) whereas PPO does not reach it within a 4M-step budget, and it attains a higher mean success rate (78.6% versus 7.4%) with lower position and orientation errors and tighter bimanual synchronization. Both algorithms degrade on unseen boundary targets, but SAC retains most of its performance while PPO's collapses. The results also expose a failure mode of PPO: under the two-phase shaped reward, it tends to converge to a reward-loitering local optimum rather than committing to the precision task. This behavior highlights the sensitivity of on-policy learning to reward shaping.