Flow Matching Imitation Learning for Multi-Support Manipulation

📄 arXiv: 2407.12381v2 📥 PDF

作者: Quentin Rouxel, Andrea Ferrari, Serena Ivaldi, Jean-Baptiste Mouret

分类: cs.RO

发布日期: 2024-07-17 (更新: 2024-10-21)

备注: 2024 IEEE-RAS 23rd International Conference on Humanoid Robots (Humanoids), Nov 2024, Nancy, France

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出基于Flow Matching的模仿学习方法，用于人形机器人多支撑操作任务

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: Flow Matching 模仿学习 人形机器人 多支撑操作 全身控制

📋 核心要点

  1. 人形机器人利用上肢进行支撑接触可以扩展工作空间、增强稳定性和执行富接触和推物任务的能力，但现有方法难以有效学习复杂的多模态操作轨迹。
  2. 论文提出结合优化控制和Flow Matching的模仿学习框架，利用Flow Matching生成多模态轨迹分布，从而学习复杂操作技能。
  3. 实验表明，Flow Matching在机器人任务上优于Diffusion和行为克隆，并在真实机器人上验证了箱子推动和洗碗机抽屉关闭等任务的有效性。

📝 摘要（中文）

本文提出了一种统一的方法，将基于优化的多接触全身控制器与Flow Matching相结合。Flow Matching是一种新近提出的方法，能够为模仿学习生成多模态轨迹分布。在仿真中，我们证明了Flow Matching比Diffusion和传统的行为克隆更适合机器人技术。在一个真实的全身人形机器人（Talos）上，我们展示了我们的方法可以学习全身非抓取箱子推动任务，并且机器人可以在需要平衡时通过增加与自由手的接触来关闭洗碗机抽屉。我们还引入了一种用于辅助遥操作的共享自主模式，为演示中未涵盖的任务提供自动接触放置。完整的实验视频可在以下网址找到：https://hucebot.github.io/flow_multisupport_website/

🔬 方法详解

问题定义：论文旨在解决人形机器人学习复杂多支撑操作任务的问题。现有的模仿学习方法，如行为克隆和基于扩散模型的方法，在处理多模态轨迹数据时存在不足，难以学习到鲁棒且自然的运动策略。特别是对于需要频繁进行身体接触调整以保持平衡的任务，现有方法难以有效处理。

核心思路：论文的核心思路是利用Flow Matching框架进行模仿学习。Flow Matching能够学习到数据分布的连续向量场，从而生成高质量的多模态轨迹。通过将Flow Matching与优化控制相结合，可以实现对复杂操作任务的学习和执行。这种方法允许机器人根据环境变化动态调整接触点，从而提高任务的鲁棒性和适应性。

技术框架：整体框架包含三个主要部分：1) 数据收集：通过人工示教或专家系统生成操作任务的演示数据；2) Flow Matching训练：使用收集到的数据训练Flow Matching模型，学习轨迹分布的连续向量场；3) 优化控制：利用训练好的Flow Matching模型生成参考轨迹，并结合多接触全身控制器，实现机器人的运动控制。共享自主模式允许操作员在必要时介入，并自动生成接触点。

关键创新：论文的关键创新在于将Flow Matching应用于人形机器人的多支撑操作任务。与传统的行为克隆和基于扩散模型的方法相比，Flow Matching能够更好地处理多模态轨迹数据，生成更自然、更鲁棒的运动策略。此外，论文还提出了一个结合Flow Matching和优化控制的统一框架，实现了对复杂操作任务的学习和执行。

关键设计：Flow Matching模型的具体结构未知，但其核心思想是学习一个时间相关的向量场，该向量场将噪声分布映射到数据分布。损失函数的设计目标是最小化向量场与真实轨迹之间的差异。多接触全身控制器采用基于优化的方法，考虑了机器人的动力学约束、接触约束和任务目标。共享自主模式通过预测可能的接触点，辅助操作员进行遥操作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Flow Matching在模仿学习任务上优于Diffusion和行为克隆。在真实的Talos机器人上，该方法成功实现了箱子推动和洗碗机抽屉关闭等复杂操作任务。通过增加自由手的接触，机器人能够更好地保持平衡，完成任务。共享自主模式也显著提高了遥操作的效率和安全性。

🎯 应用场景

该研究成果可应用于各种需要人形机器人进行复杂操作的场景，例如：家庭服务机器人，可以帮助完成家务，如洗碗、整理物品等；工业机器人，可以执行装配、搬运等任务；医疗机器人，可以辅助医生进行手术或护理病人。此外，该方法还可以应用于虚拟现实和游戏领域，生成更逼真的人形角色动画。

📄 摘要（原文）

Humanoid robots could benefit from using their upper bodies for support contacts, enhancing their workspace, stability, and ability to perform contact-rich and pushing tasks. In this paper, we propose a unified approach that combines an optimization-based multi-contact whole-body controller with Flow Matching, a recently introduced method capable of generating multi-modal trajectory distributions for imitation learning. In simulation, we show that Flow Matching is more appropriate for robotics than Diffusion and traditional behavior cloning. On a real full-size humanoid robot (Talos), we demonstrate that our approach can learn a whole-body non-prehensile box-pushing task and that the robot can close dishwasher drawers by adding contacts with its free hand when needed for balance. We also introduce a shared autonomy mode for assisted teleoperation, providing automatic contact placement for tasks not covered in the demonstrations. Full experimental videos are available at: https://hucebot.github.io/flow_multisupport_website/