Learning-Based Strategy for Composite Robot Assembly Skill Adaptation
作者: Khalil Abuibaid, Aleksandr Sidorenko, Achim Wagner, Martin Ruskowski
分类: cs.RO
发布日期: 2026-04-08
备注: Accepted at RAAD 2026 (Springer). 6 pages, 4 figures
💡 一句话要点
提出基于学习的复合机器人装配技能自适应策略，解决工业机器人接触力控制难题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人装配 残差强化学习 复合技能 工业自动化 接触力控制
📋 核心要点
- 工业机器人由于几何公差严格、摩擦变化大和接触动力学不确定，在接触力丰富的机器人技能方面仍然面临挑战，尤其是在使用位置控制机械臂时。
- 论文提出了一种基于残差强化学习（RRL）的技能自适应策略，通过在预定义的技能结构内进行微调，提高装配任务的鲁棒性和安全性。
- 在MuJoCo模拟环境中，使用UR5e机器人和Robotiq夹具进行了实验，结果表明该方法能够稳健地执行装配技能，适用于工业自动化。
📝 摘要（中文）
本文提出了一种可重用且封装的基于技能的策略，用于销钉插入孔装配，其中自适应是通过残差强化学习（RRL）实现的。装配过程使用具有显式前置条件、后置条件和不变条件的复合技能来表示，从而实现模块化、可重用性以及跨任务变化明确的执行语义。通过RRL，将自适应限制在接触力交互期间每个技能内的残差细化，同时保持整体技能结构和执行流程不变，从而提高安全性和样本效率。该方法在MuJoCo模拟环境中，使用配备Robotiq夹具的UR5e机器人上进行了评估，并使用SAC和JAX进行训练。结果表明，该公式能够稳健地执行装配技能，突出了其在工业自动化中的适用性。
🔬 方法详解
问题定义：工业机器人，特别是位置控制的机械臂，在执行接触力丰富的装配任务（如销钉插入孔）时，面临着几何公差严格、摩擦力变化以及接触动力学不确定等挑战。传统方法难以适应这些变化，导致装配失败率高，需要人工干预。
核心思路：论文的核心思路是将装配任务分解为一系列具有明确前置条件、后置条件和不变条件的复合技能。然后，利用残差强化学习（RRL）在每个技能内部进行微调，以适应接触过程中的不确定性。这种方法既能保证整体技能结构的稳定性，又能提高局部适应性。
技术框架：整体框架包括以下几个主要模块：1) 技能分解模块：将装配任务分解为一系列复合技能，每个技能都有明确的执行条件。2) 残差强化学习模块：使用RRL算法，在每个技能内部学习一个残差策略，用于调整机器人的运动轨迹。3) 技能执行模块：根据技能的执行条件，依次执行各个技能，并使用RRL学习到的残差策略进行微调。
关键创新：该方法最重要的创新点在于将残差强化学习与复合技能相结合。传统的强化学习方法通常需要从头开始学习整个任务，而RRL只学习残差策略，从而大大提高了样本效率和安全性。同时，复合技能的结构化表示使得技能可以重用和组合，从而提高了任务的灵活性。
关键设计：论文使用了SAC（Soft Actor-Critic）算法作为RRL的基础算法，并使用JAX进行加速。奖励函数的设计至关重要，需要平衡装配的成功率和执行效率。此外，论文还设计了一套技能执行条件，用于判断何时切换到下一个技能。
🖼️ 关键图片
📊 实验亮点
该方法在MuJoCo模拟环境中进行了验证，结果表明，与传统的基于位置控制的装配方法相比，该方法能够显著提高装配的成功率和鲁棒性。具体来说，该方法能够成功地将销钉插入孔中，即使在存在较大的几何误差和摩擦力变化的情况下，也能保持较高的成功率。此外，该方法还具有较高的样本效率，能够在较短的时间内学习到有效的残差策略。
🎯 应用场景
该研究成果可应用于各种工业自动化场景，例如汽车零部件装配、电子产品组装等。通过提高机器人装配的鲁棒性和适应性，可以减少人工干预，提高生产效率，降低生产成本。未来，该方法还可以扩展到更复杂的装配任务，例如柔性物体的装配。
📄 摘要（原文）
Contact-rich robotic skills remain challenging for industrial robots due to tight geometric tolerances, frictional variability, and uncertain contact dynamics, particularly when using position-controlled manipulators. This paper presents a reusable and encapsulated skill-based strategy for peg-in-hole assembly, in which adaptation is achieved through Residual Reinforcement Learning (RRL). The assembly process is represented using composite skills with explicit pre-, post-, and invariant conditions, enabling modularity, reusability, and well-defined execution semantics across task variations. Safety and sample efficiency are promoted through RRL by restricting adaptation to residual refinements within each skill during contact-rich interactions, while the overall skill structure and execution flow remain invariant. The proposed approach is evaluated in MuJoCo simulation on a UR5e robot equipped with a Robotiq gripper and trained using SAC and JAX. Results demonstrate that the proposed formulation enables robust execution of assembly skills, highlighting its suitability for industrial automation.