XBG: End-to-end Imitation Learning for Autonomous Behaviour in Human-Robot Interaction and Collaboration
作者: Carlos Cardenas-Perez, Giulio Romualdi, Mohamed Elobaid, Stefano Dafarra, Giuseppe L'Erario, Silvio Traversaro, Pietro Morerio, Alessio Del Bue, Daniele Pucci
分类: cs.RO
发布日期: 2024-06-22
备注: Submitted to RA-L https://ami-iit.github.io/xbg/
💡 一句话要点
XBG：用于人机交互与协作中自主行为的端到端模仿学习系统
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机交互 模仿学习 深度学习 人形机器人 多模态融合
📋 核心要点
- 现有方法在复杂人机交互场景中，难以使机器人自然、安全地执行任务，缺乏对环境和自身状态的综合理解。
- XBG通过模仿学习，利用多模态数据（RGB-D图像和关节状态）训练深度神经网络，使机器人学习人机交互行为。
- 该系统在真实机器人ergoCub上进行了验证，通过学习握手、搬运等任务，展示了其在人机交互场景中的有效性。
📝 摘要（中文）
本文提出了XBG（外部感受行为生成），一个多模态端到端模仿学习（IL）系统，用于真实世界人机交互（HRI）场景中的全身自主人形机器人。本文的主要贡献在于提出了一种使用数据驱动方法学习HRI行为的架构。通过远程操作，收集了一个多样化的数据集，包括跨多个HRI场景的演示，如握手、挥手、有效载荷接收、行走和携带有效载荷行走。在同步、过滤和转换数据后，训练了不同的深度神经网络（DNN）模型。最终系统集成了包括外部感受和本体感受信息源的不同模态，使机器人能够理解其环境和自身行为。机器人获取交互过程中的图像序列（RGB和深度）和关节状态信息，然后做出相应的反应，展示学习到的行为。通过在时间上融合多模态信号，我们将新的自主能力编码到机器人平台中，从而能够理解上下文随时间的变化。这些模型部署在真实的人形机器人ergoCub上，并通过计算机器人在上述场景中的行为成功率来衡量其性能。
🔬 方法详解
问题定义：论文旨在解决人形机器人在复杂人机交互场景中自主行为生成的问题。现有方法通常依赖于手工设计的规则或复杂的运动规划，难以适应真实世界中人机交互的不确定性和多样性。这些方法的痛点在于泛化能力差，难以处理未知的交互场景，并且需要大量的人工干预。
核心思路：论文的核心思路是利用模仿学习，通过学习人类的演示数据，使机器人能够自动生成人机交互行为。通过收集大量的人机交互数据，并训练深度神经网络，机器人可以学习到人类的交互策略，从而实现自主行为。这种方法避免了手工设计规则的复杂性，并且具有更好的泛化能力。
技术框架：XBG系统的整体架构包括数据采集、数据处理、模型训练和行为执行四个主要阶段。首先，通过远程操作收集人机交互数据，包括RGB-D图像和关节状态信息。然后，对数据进行同步、过滤和转换，以提高数据的质量。接着，使用深度神经网络训练模型，学习人机交互行为。最后，将训练好的模型部署到机器人上，实现自主行为。
关键创新：XBG系统的关键创新在于其端到端的学习框架和多模态数据融合。传统的模仿学习方法通常需要人工设计特征，而XBG系统可以直接从原始数据中学习特征，减少了人工干预。此外，XBG系统通过融合RGB-D图像和关节状态信息，使机器人能够更好地理解环境和自身状态，从而提高了行为的准确性和鲁棒性。
关键设计：在数据采集方面，论文使用了远程操作来收集人机交互数据，保证了数据的多样性。在模型训练方面，论文使用了深度神经网络，包括卷积神经网络（CNN）和循环神经网络（RNN），以提取图像特征和时间序列特征。损失函数使用了均方误差（MSE），以衡量预测行为和真实行为之间的差异。网络结构的设计考虑了计算效率和模型性能，使用了较小的网络结构，以保证实时性。
🖼️ 关键图片
📊 实验亮点
该论文在真实机器人ergoCub上进行了实验验证，通过学习握手、挥手、搬运等任务，展示了XBG系统的有效性。实验结果表明，该系统能够成功地学习人机交互行为，并实现较高的行为成功率。具体的性能数据和对比基线在论文中进行了详细的描述。
🎯 应用场景
该研究成果可应用于多种人机协作场景，例如：辅助医疗、智能制造、家庭服务等。通过学习人类行为，机器人可以更好地理解人类意图，从而更安全、高效地与人类协作完成任务。未来，该技术有望推动人形机器人在复杂环境中的应用，实现更智能、更自然的交互。
📄 摘要（原文）
This paper presents XBG (eXteroceptive Behaviour Generation), a multimodal end-to-end Imitation Learning (IL) system for a whole-body autonomous humanoid robot used in real-world Human-Robot Interaction (HRI) scenarios. The main contribution of this paper is an architecture for learning HRI behaviours using a data-driven approach. Through teleoperation, a diverse dataset is collected, comprising demonstrations across multiple HRI scenarios, including handshaking, handwaving, payload reception, walking, and walking with a payload. After synchronizing, filtering, and transforming the data, different Deep Neural Networks (DNN) models are trained. The final system integrates different modalities comprising exteroceptive and proprioceptive sources of information to provide the robot with an understanding of its environment and its own actions. The robot takes sequence of images (RGB and depth) and joints state information during the interactions and then reacts accordingly, demonstrating learned behaviours. By fusing multimodal signals in time, we encode new autonomous capabilities into the robotic platform, allowing the understanding of context changes over time. The models are deployed on ergoCub, a real-world humanoid robot, and their performance is measured by calculating the success rate of the robot's behaviour under the mentioned scenarios.