SHaRe-RL: Structured, Interactive Reinforcement Learning for Contact-Rich Industrial Assembly Tasks
作者: Jannick Stranghöner, Philipp Hartmann, Marco Braun, Sebastian Wrede, Klaus Neumann
分类: cs.RO
发布日期: 2025-09-17
备注: 8 pages, 5 figures, submitted to the IEEE International Conference on Robotics and Automation (ICRA) 2026
💡 一句话要点
SHaRe-RL：用于高精度工业装配的结构化交互式强化学习框架
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 工业机器人 人机交互 装配任务 力控制
📋 核心要点
- 现有机器人系统难以满足高混合低批量工业装配的需求，手动编程成本高昂且难以适应，而基于学习的方法样本效率低且探索不安全。
- SHaRe-RL框架通过结构化技能、融合人工示教和在线修正、以及限制交互力，实现了高效且安全的在线学习。
- 在工业Harting连接器模块插入实验中，SHaRe-RL在实际时间预算内实现了可靠的性能，验证了该框架的有效性。
📝 摘要（中文）
本文提出了一种名为SHaRe-RL的强化学习框架，旨在解决中小企业中常见的高混合低批量（HMLV）工业装配任务。这些任务需要与大批量自动化相同的精度、安全性和可靠性，同时保持对产品变化和环境不确定性的灵活性。SHaRe-RL通过(i)将技能结构化为操作原语，(ii)结合人工示教和在线修正，以及(iii)通过每轴柔顺性限制交互力，从而为长时程、接触丰富的工业装配任务实现高效且安全的在线学习。在间隙为0.2-0.4毫米的工业Harting连接器模块的插入实验中，SHaRe-RL在实际时间预算内实现了可靠的性能。结果表明，过程专业知识（无需机器人或强化学习知识）可以对学习做出有意义的贡献，从而使强化学习在工业装配中的部署更安全、更稳健且更经济可行。
🔬 方法详解
问题定义：论文旨在解决高混合低批量工业装配任务中，现有机器人系统在灵活性、安全性和效率方面的不足。手动编程难以适应产品变化，学习型方法样本效率低，且在接触丰富的任务中存在不安全探索的问题。
核心思路：论文的核心思路是结合先验知识，通过结构化技能、人机交互和力控制，来提高强化学习的样本效率和安全性。这种方法允许利用领域专家的知识，并约束机器人的行为，从而加速学习过程。
技术框架：SHaRe-RL框架包含以下主要模块：(1) 结构化技能表示：将复杂的装配任务分解为一系列操作原语。(2) 人工示教和在线修正：利用人工示教初始化策略，并在训练过程中接受人工修正，以引导探索。(3) 力控制：通过每轴柔顺性限制交互力，保证安全操作。整体流程是：首先，通过人工示教初始化策略；然后，利用强化学习进行在线训练，并在训练过程中接受人工修正；最后，通过力控制保证操作的安全性。
关键创新：SHaRe-RL的关键创新在于将结构化技能、人机交互和力控制相结合，从而在接触丰富的工业装配任务中实现高效且安全的强化学习。与传统的强化学习方法相比，SHaRe-RL能够更好地利用先验知识，并约束机器人的行为，从而提高样本效率和安全性。
关键设计：论文中，操作原语的具体形式、人工示教的融合方式、在线修正的策略、以及力控制的具体实现（例如，柔顺性参数的设置）等技术细节是关键设计。具体的损失函数和网络结构等细节在论文中可能没有详细描述，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SHaRe-RL在间隙为0.2-0.4毫米的工业Harting连接器模块的插入任务中，能够在实际时间预算内实现可靠的性能。这表明，即使在精度要求极高的装配任务中，SHaRe-RL也能有效地利用先验知识和人机交互，实现高效的强化学习。
🎯 应用场景
SHaRe-RL可应用于各种高混合低批量工业装配场景，例如电子产品组装、机械部件装配等。该框架能够降低机器人部署的成本和难度，使中小企业也能实现自动化生产，提高生产效率和产品质量。未来，该研究可扩展到更复杂的装配任务和更广泛的工业领域。
📄 摘要（原文）
High-mix low-volume (HMLV) industrial assembly, common in small and medium-sized enterprises (SMEs), requires the same precision, safety, and reliability as high-volume automation while remaining flexible to product variation and environmental uncertainty. Current robotic systems struggle to meet these demands. Manual programming is brittle and costly to adapt, while learning-based methods suffer from poor sample efficiency and unsafe exploration in contact-rich tasks. To address this, we present SHaRe-RL, a reinforcement learning framework that leverages multiple sources of prior knowledge. By (i) structuring skills into manipulation primitives, (ii) incorporating human demonstrations and online corrections, and (iii) bounding interaction forces with per-axis compliance, SHaRe-RL enables efficient and safe online learning for long-horizon, contact-rich industrial assembly tasks. Experiments on the insertion of industrial Harting connector modules with 0.2-0.4 mm clearance demonstrate that SHaRe-RL achieves reliable performance within practical time budgets. Our results show that process expertise, without requiring robotics or RL knowledge, can meaningfully contribute to learning, enabling safer, more robust, and more economically viable deployment of RL for industrial assembly.