Stability-aware Residual Reinforcement Learning Framework for Robotic Manipulator Disturbance Compensation
作者: Jihong Kim, Joonhyuk Kwon, Hwa Soo Kim, TaeWon Seo, Hyung-Tae Seo
分类: cs.RO
发布日期: 2026-09-18
备注: 14 pages, 9 figures
💡 一句话要点
提出残差强化学习框架以解决机器人操控中的干扰补偿问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人操控 强化学习 干扰补偿 稳定性分析 残差学习 控制系统 非线性摩擦 参数不确定性
📋 核心要点
- 现有的控制器和干扰观测器在处理参数不确定性和非线性摩擦时存在显著不足，影响了机器人操控的精确性。
- 本研究提出了一种结合分析观测器与强化学习策略的残差强化学习DOB框架，以有效补偿模型无法捕捉的干扰。
- 实验结果显示，该方法在六自由度操控器上实现了显著的跟踪误差减少，尤其在未观察到的干扰情况下表现优异。
📝 摘要（中文）
尽管传统控制器和干扰观测器（DOBs）在精确跟踪中是标准方法，但它们在参数不确定性、非线性摩擦和复合干扰方面存在不足。本研究提出了一种残差强化学习DOB框架，将分析观测器与强化学习策略相结合。确定性基线在可靠区域内运行，而强化学习策略则明确针对模型无法捕捉的残差。为了使补偿对干扰敏感，估计网络将观察历史与特权干扰上下文对齐，按干扰状态组织潜在空间，从而在干扰转变中实现快速适应。为保证稳定性，我们从输入到状态稳定性（ISS）分析中推导并强制实施了基于状态的动作边界，使得闭环系统能够证明地将跟踪误差限制在认证范围内。对六自由度操控器的实验表明，在零-shot模拟到真实转移下，跟踪误差减少了27.8%，而在训练期间未观察到的基础振动干扰下，减少了38.0%。
🔬 方法详解
问题定义：本论文旨在解决机器人操控中由于参数不确定性、非线性摩擦和复合干扰导致的精确跟踪问题。现有的控制器和干扰观测器在这些方面表现不佳，限制了其应用。
核心思路：提出的残差强化学习DOB框架通过结合分析观测器与强化学习策略，明确针对模型无法捕捉的干扰残差进行补偿，从而提高系统的鲁棒性和适应性。
技术框架：整体架构包括一个确定性基线控制器和一个强化学习策略。确定性基线在可靠区域内运行，而强化学习策略则通过估计网络对残差进行补偿，快速适应不同的干扰状态。
关键创新：本研究的主要创新在于引入了状态依赖的动作边界，通过输入到状态稳定性分析确保了系统的稳定性，使得跟踪误差能够被限制在一个认证范围内。
关键设计：在设计中，采用了特定的损失函数和网络结构，以优化干扰估计和补偿效果，确保了在不同干扰情况下的快速适应能力。具体参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的方法在六自由度操控器上实现了27.8%的跟踪误差减少，且在未观察到的基础振动干扰下，跟踪误差减少了38.0%。这些结果显示了该框架在实际应用中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括工业机器人、服务机器人和自动化生产线等，能够显著提高机器人在复杂环境中的操作精度和鲁棒性。未来，该框架有望推广到更多需要高精度控制的领域，如医疗机器人和无人驾驶等。
📄 摘要（原文）
Although conventional controllers and disturbance observers (DOBs) are the standard for precision tracking in manipulators, they suffer from parameter uncertainty, nonlinear friction, and compound disturbances. This study proposes a residual reinforcement learning DOB framework that pairs an analytical observer with an RL policy. The deterministic baseline operates within a reliable region, whereas the RL policy explicitly targets the residuals that the model cannot capture. To make this compensation disturbance-aware, an estimator network aligns the observation history with a privileged disturbance context, organizing the latent space by disturbance regime and enabling rapid adaptation across disturbance transitions. To guarantee stability, we derived and enforced a state-dependent action bound on the RL policy from an input-to-state stability (ISS) analysis such that the closed loop provably confines the tracking error to a certified envelope for arbitrary policy outputs. Experiments on a 6-DOF manipulator demonstrated consistent improvements in disturbance estimation and tracking, including a 27.8% tracking-error reduction on real hardware under zero-shot sim-to-real transfer and a 38.0% reduction under a base-vibration disturbance that was not observed during training.