Robust Imitation Learning for Mobile Manipulator Focusing on Task-Related Viewpoints and Regions
作者: Yutaro Ishida, Yuki Noguchi, Takayuki Kanai, Kazuhiro Shintani, Hiroshi Bito
分类: cs.RO
发布日期: 2024-10-02
💡 一句话要点
提出一种鲁棒的移动机械臂模仿学习方法，关注任务相关视角和区域，解决遮挡和领域迁移问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 移动机械臂 模仿学习 多视角学习 注意力机制 领域迁移 遮挡处理 机器人视觉
📋 核心要点
- 现有移动机械臂模仿学习方法在单一视角下易受遮挡影响，且在不同环境部署时存在领域迁移问题。
- 论文提出一种鲁棒的模仿学习方法，通过关注任务相关的视角和区域，学习多视角策略，提升泛化能力。
- 实验结果表明，该方法在不同任务和环境中，成功率最高提升29.3个百分点，有效应对遮挡和领域迁移。
📝 摘要（中文）
本文研究了如何从视觉观察的角度泛化移动机械臂的视觉运动策略。当仅采用单一视角时，移动机械臂容易因自身遮挡而产生问题，并且在不同环境中部署时会出现显著的领域迁移。然而，据作者所知，目前还没有研究能够同时解决遮挡和领域迁移问题，并提出一种鲁棒的策略。本文提出了一种鲁棒的移动机械臂模仿学习方法，该方法在观察多个视角时，关注与任务相关的视角及其空间区域。多视角策略包含注意力机制，该机制通过增强数据集进行学习，并带来最佳视角和鲁棒的视觉嵌入，以抵抗遮挡和领域迁移。与先前研究在不同任务和环境中的结果相比，我们提出的方法将成功率提高了高达29.3个百分点。我们还使用我们提出的方法进行了消融研究。从多视角数据集中学习与任务相关的视角，比使用唯一定义的视角更能提高对遮挡的鲁棒性。关注与任务相关的区域有助于将成功率提高高达33.3个百分点，以抵抗领域迁移。
🔬 方法详解
问题定义：移动机械臂的模仿学习任务中，由于机械臂自身的遮挡，单一视角观察容易丢失关键信息。同时，在不同环境中部署时，视觉特征会发生显著的领域迁移，导致策略性能下降。现有方法难以同时解决遮挡和领域迁移问题，限制了移动机械臂的泛化能力。
核心思路：论文的核心思路是利用多视角信息，通过注意力机制学习与任务相关的最佳视角和区域，从而提高策略对遮挡和领域迁移的鲁棒性。通过关注任务相关的区域，模型可以学习到更具判别性的特征，从而更好地适应不同的环境。
技术框架：整体框架包含数据采集、多视角策略学习和策略执行三个阶段。首先，通过多个摄像头采集不同视角的图像数据，并进行数据增强。然后，利用增强的数据集训练一个包含注意力机制的多视角策略网络。该网络可以根据当前状态选择最佳视角，并提取鲁棒的视觉嵌入。最后，将学习到的策略部署到移动机械臂上执行任务。
关键创新：最重要的创新点在于将注意力机制引入到多视角模仿学习中，使得策略能够自适应地选择与任务相关的视角和区域。这种方法能够有效地解决遮挡和领域迁移问题，提高策略的泛化能力。与现有方法相比，该方法不需要人工设计视角选择策略，而是通过数据驱动的方式学习最佳视角。
关键设计：多视角策略网络包含多个卷积神经网络分支，每个分支处理一个视角的图像。每个分支的输出经过注意力机制加权融合，得到最终的视觉嵌入。注意力机制的权重由一个小型神经网络预测，该网络的输入是当前状态。损失函数包括模仿学习损失和注意力正则化损失，其中模仿学习损失用于学习专家策略，注意力正则化损失用于鼓励网络选择与任务相关的视角。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在多个任务和环境中均取得了显著的性能提升。与现有方法相比，该方法在成功率方面最高提升了29.3个百分点。消融实验表明，学习任务相关视角和关注任务相关区域分别对提高抗遮挡能力和抗领域迁移能力有重要作用，其中关注任务相关区域对领域迁移的提升高达33.3个百分点。
🎯 应用场景
该研究成果可应用于各种需要在复杂环境中操作的移动机械臂任务，例如仓库拣选、家庭服务机器人、医疗辅助机器人等。通过提高机械臂对遮挡和领域迁移的鲁棒性，可以显著提升其在实际场景中的可靠性和效率，降低部署成本，加速移动机械臂的商业化进程。
📄 摘要（原文）
We study how to generalize the visuomotor policy of a mobile manipulator from the perspective of visual observations. The mobile manipulator is prone to occlusion owing to its own body when only a single viewpoint is employed and a significant domain shift when deployed in diverse situations. However, to the best of the authors' knowledge, no study has been able to solve occlusion and domain shift simultaneously and propose a robust policy. In this paper, we propose a robust imitation learning method for mobile manipulators that focuses on task-related viewpoints and their spatial regions when observing multiple viewpoints. The multiple viewpoint policy includes attention mechanism, which is learned with an augmented dataset, and brings optimal viewpoints and robust visual embedding against occlusion and domain shift. Comparison of our results for different tasks and environments with those of previous studies revealed that our proposed method improves the success rate by up to 29.3 points. We also conduct ablation studies using our proposed method. Learning task-related viewpoints from the multiple viewpoints dataset increases robustness to occlusion than using a uniquely defined viewpoint. Focusing on task-related regions contributes to up to a 33.3-point improvement in the success rate against domain shift.