Leveraging Human-In-The-Loop Demonstrations in Reinforcement Learning for Digital Twin-Driven Robot Flexibility

📄 arXiv: 2610.12140v1 📥 PDF

作者: Yuzhu Sun, Mien Van, Nguyen Minh Nhat, Stephen McIlvanna, Sean McLoone

分类: cs.RO, eess.SY

发布日期: 2026-10-08

💡 一句话要点

提出人机协作在线训练框架以提升机器人适应性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人机协作 在线训练 数字双胞胎 强化学习 适应性 机器人技术 示范学习

📋 核心要点

  1. 现有方法在动态环境中缺乏有效的适应能力，导致协作机器人难以应对变化。
  2. 本文提出了一种人机协作的在线训练框架，通过实时同步的数字双胞胎和人类示范提升机器人适应性。
  3. 实验结果显示，双演员框架在固定非最优示范下的成功率显著高于传统模仿损失方法，验证了其有效性。

📝 摘要（中文）

随着自动化的发展，协作机器人在更具变动性的环境中工作，适应能力的需求日益增加。本文提出了一种结合数字双胞胎、强化学习和人类示范的人机协作在线训练框架。与以往主要用于任务执行前生成合成数据的数字双胞胎不同，本文的数字双胞胎通过摄像头实时与物理系统同步，使虚拟机器人能够根据现实反馈更新其观察和策略。该框架在Ufactory Xarm5协作机器人上进行了验证，实验结果表明，该框架能够在物理工作空间变化后恢复训练，并且在固定的非最优示范下，双演员框架的最终成功率显著高于两种添加模仿损失的方法。即使在虚拟现实中收集的真实人类示范中，双演员框架也达到了83-100%的成功率，而模仿损失方法的成功率仅为0-17%。

🔬 方法详解

问题定义：本文旨在解决协作机器人在动态环境中适应能力不足的问题。现有方法通常依赖于静态示范或手动重编程，无法有效应对环境变化。

核心思路：提出一种人机协作的在线训练框架，结合数字双胞胎和强化学习，通过实时反馈和人类示范指导机器人适应，而不是依赖直接的模仿损失。

技术框架：框架包括数字双胞胎模块、强化学习模块和人类示范模块。数字双胞胎实时接收摄像头数据，与物理系统同步，强化学习模块根据实时反馈更新策略，而人类示范则用于指导学习过程。

关键创新：最重要的创新在于双演员框架的设计，允许机器人在没有直接模仿损失的情况下，通过人类示范进行有效的策略调整，显著提高了适应性。

关键设计：框架中采用了双演员结构，分别负责策略学习和示范引导，避免了传统方法中模仿损失的引入，同时在参数设置上进行了优化，以确保学习过程的稳定性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，双演员框架在固定非最优示范下的最终成功率显著高达83-100%，而传统模仿损失方法的成功率仅为0-17%。这一结果表明，所提框架在动态环境中的适应能力远超现有方法。

🎯 应用场景

该研究在协作机器人领域具有广泛的应用潜力，尤其是在制造、物流和服务等动态环境中。通过提升机器人对环境变化的适应能力，可以显著提高生产效率和安全性，未来可能推动智能制造和自动化的进一步发展。

📄 摘要（原文）

Growing automation makes collaborative robots work in more variable environments, increasing the need for adaptation. We propose a human-in-the-loop online training framework combining a digital twin (DT), reinforcement learning (RL), and human demonstrations. Unlike DTs used mainly to generate synthetic data before task execution, our DT is synchronized with the physical system in real time through camera feeds, allowing the virtual robot to update its observations and policy from real-world feedback. A dual actor framework integrates imitation learning (IL) without adding a direct imitation loss to the RL actor, so demonstrations can guide adaptation instead of manual reprogramming. The proposed framework is demonstrated on the Ufactory Xarm5 collaborative robot, where the robot's end-effector aims to reach the target position while avoiding obstacles. The experiments show that the framework can resume training after a change in the physical workspace and that, with a fixed set of non-optimal demonstrations, the dual actor framework achieves a much higher final success rate than two methods that add an imitation loss to the actor. The same pattern holds with real human demonstrations collected in virtual reality (VR): with demonstrations that never reach the goal, the dual actor framework reached 83-100% mean deterministic evaluation success, against 0-17% for the two imitation-loss methods.