VLMimic: Vision Language Models are Visual Imitation Learner for Fine-grained Actions

📄 arXiv: 2410.20927v3 📥 PDF

作者: Guanyan Chen, Meiling Wang, Te Cui, Yao Mu, Haoyang Lu, Tianxing Zhou, Zicai Peng, Mengxiao Hu, Haizhou Li, Yuan Li, Yi Yang, Yufeng Yue

分类: cs.RO

发布日期: 2024-10-28 (更新: 2024-10-31)

备注: accepted for publication in the 38th Conference on Neural Information Processing Systems (NeurIPS 2024)

💡 一句话要点

VLMimic：利用视觉语言模型进行细粒度动作的视觉模仿学习

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉模仿学习 视觉语言模型 细粒度动作 分层约束表示 机器人操作

📋 核心要点

  1. 现有视觉模仿学习方法依赖预定义运动原语，限制了机器人执行细粒度动作的能力。
  2. VLMimic利用视觉语言模型直接学习细粒度动作，通过分层约束表示和迭代比较策略提升性能。
  3. 实验表明，VLMimic在多个任务中显著优于现有方法，尤其在长时程任务中提升显著。

📝 摘要（中文）

视觉模仿学习(VIL)为机器人系统提供了一种高效直观的获取新技能的策略。视觉语言模型(VLMs)在视觉和语言推理能力方面取得了显著进展，并应用于VIL任务。然而，现有的VIL方法简单地利用VLMs从人类视频中学习高层计划，依赖于预定义的运动原语来执行物理交互，这仍然是一个主要的瓶颈。本文提出了VLMimic，一种新的范例，利用VLMs直接学习细粒度的动作级别，仅需少量人类视频。具体来说，VLMimic首先从人类视频中提取以对象为中心的运动，并使用分层约束表示学习技能，从而能够从有限的人类视频中推导出具有细粒度动作级别的技能。这些技能通过迭代比较策略进行细化和更新，从而能够有效地适应未见过的环境。大量的实验表明，VLMimic仅使用5个真人视频，在RLBench和真实世界操作任务中分别取得了超过27%和21%的显著改进，并且在长时程任务中超过基线37%以上。

🔬 方法详解

问题定义：现有视觉模仿学习方法主要依赖于预定义的运动原语来执行物理交互，这限制了机器人执行复杂和细粒度动作的能力。痛点在于无法直接从人类演示视频中学习到细粒度的动作控制策略，需要人工设计运动原语，泛化性较差。

核心思路：VLMimic的核心思路是利用视觉语言模型强大的视觉和语言理解能力，直接从少量人类演示视频中学习细粒度的动作控制策略。通过学习对象中心的运动和分层约束表示，机器人可以理解并模仿人类的精细动作。

技术框架：VLMimic包含以下主要模块：1) 对象中心运动提取：从人类视频中提取对象级别的运动信息。2) 分层约束表示学习：使用分层约束表示来学习技能，从而能够从有限的人类视频中推导出具有细粒度动作级别的技能。3) 迭代比较策略：通过迭代比较策略来细化和更新技能，从而能够有效地适应未见过的环境。

关键创新：VLMimic的关键创新在于直接利用视觉语言模型学习细粒度动作，避免了对预定义运动原语的依赖。通过分层约束表示和迭代比较策略，能够有效地从少量人类视频中学习到高质量的动作控制策略。

关键设计：VLMimic使用了一种分层约束表示，将动作分解为多个层次，每个层次对应不同的约束条件。迭代比较策略通过比较机器人执行的动作与人类演示视频中的动作，不断优化动作控制策略。具体的损失函数和网络结构细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VLMimic仅使用5个真人视频，在RLBench和真实世界操作任务中分别取得了超过27%和21%的显著改进，并且在长时程任务中超过基线37%以上。这些实验结果表明，VLMimic能够有效地从少量人类视频中学习到高质量的动作控制策略，并在多个任务中取得了显著的性能提升。

🎯 应用场景

VLMimic具有广泛的应用前景，可应用于机器人操作、自动化装配、医疗手术等领域。通过学习人类的精细动作，机器人可以执行更加复杂和精细的任务，提高生产效率和工作质量。该研究有助于推动机器人技术的智能化和自主化发展，促进人机协作。

📄 摘要（原文）

Visual imitation learning (VIL) provides an efficient and intuitive strategy for robotic systems to acquire novel skills. Recent advancements in Vision Language Models (VLMs) have demonstrated remarkable performance in vision and language reasoning capabilities for VIL tasks. Despite the progress, current VIL methods naively employ VLMs to learn high-level plans from human videos, relying on pre-defined motion primitives for executing physical interactions, which remains a major bottleneck. In this work, we present VLMimic, a novel paradigm that harnesses VLMs to directly learn even fine-grained action levels, only given a limited number of human videos. Specifically, VLMimic first grounds object-centric movements from human videos, and learns skills using hierarchical constraint representations, facilitating the derivation of skills with fine-grained action levels from limited human videos. These skills are refined and updated through an iterative comparison strategy, enabling efficient adaptation to unseen environments. Our extensive experiments exhibit that our VLMimic, using only 5 human videos, yields significant improvements of over 27% and 21% in RLBench and real-world manipulation tasks, and surpasses baselines by over 37% in long-horizon tasks.