GEVRM: Goal-Expressive Video Generation Model For Robust Visual Manipulation

📄 arXiv: 2502.09268v2 📥 PDF

作者: Hongyin Zhang, Pengxiang Ding, Shangke Lyu, Ying Peng, Donglin Wang

分类: cs.RO, cs.LG

发布日期: 2025-02-13 (更新: 2025-02-14)

备注: Published as a conference paper at ICLR 2025

💡 一句话要点

提出GEVRM，通过目标视频生成和原型对比学习，增强机器人视觉操作的鲁棒性。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人视觉操作 视觉-语言-动作模型 鲁棒性 内部模型控制 视频生成

📋 核心要点

  1. 现有VLA模型在实际部署中易受外部扰动影响，导致动作不准确和泛化性能下降。
  2. GEVRM通过集成内部模型控制(IMC)原理，利用文本引导的视频生成模型生成目标，并通过原型对比学习评估扰动。
  3. GEVRM在CALVIN基准测试和实际机器人任务中均取得了SOTA性能，显著提升了鲁棒性。

📝 摘要（中文）

随着具身人工智能的快速发展，用于通用机器人决策的视觉-语言-动作(VLA)模型取得了显著进展。然而，大多数现有的VLA模型未能考虑到部署过程中不可避免的外部扰动。这些扰动向VLA引入了不可预见的状态信息，导致不准确的动作，从而导致泛化性能显著下降。经典的内部模型控制(IMC)原理表明，包含外部输入信号的内部模型的闭环系统可以准确地跟踪参考输入并有效地抵消干扰。我们提出了一种新的闭环VLA方法GEVRM，它集成了IMC原理，以增强机器人视觉操作的鲁棒性。GEVRM中的文本引导视频生成模型可以生成高度表达性的未来视觉规划目标。同时，我们通过模拟响应来评估扰动，这些响应被称为内部嵌入，并通过原型对比学习进行优化。这使得模型能够隐式地推断和区分来自外部环境的扰动。所提出的GEVRM在标准和扰动的CALVIN基准测试中都实现了最先进的性能，并在实际机器人任务中显示出显著的改进。

🔬 方法详解

问题定义：现有视觉-语言-动作(VLA)模型在实际机器人操作中，难以应对外部扰动带来的状态变化，导致动作执行失败和泛化能力不足。这些扰动可能是未知的环境因素，例如光照变化、物体位置微调等，现有模型缺乏对这些扰动的有效建模和补偿机制。

核心思路：GEVRM的核心思路是借鉴内部模型控制(IMC)原理，构建一个闭环控制系统，其中包含一个能够预测未来状态的内部模型，并利用该模型来评估和补偿外部扰动。通过生成目标视频，模型可以更清晰地表达期望的未来状态，从而指导机器人执行更鲁棒的操作。

技术框架：GEVRM的整体框架包含以下几个主要模块：1) 文本引导的视频生成模型：根据给定的文本指令，生成未来视觉规划目标，即一系列期望的图像帧。2) 内部嵌入模块：通过模拟响应来评估扰动，生成内部嵌入，用于表示当前状态和扰动信息。3) 原型对比学习模块：优化内部嵌入，使其能够区分不同的扰动类型，并提高模型的鲁棒性。4) 动作执行模块：根据生成的目标视频和内部嵌入，生成控制指令，驱动机器人执行操作。

关键创新：GEVRM的关键创新在于将内部模型控制(IMC)原理引入到视觉-语言-动作(VLA)模型中，并提出了一种基于原型对比学习的扰动评估方法。通过生成目标视频和学习内部嵌入，模型能够更好地理解和应对外部扰动，从而提高机器人操作的鲁棒性。

关键设计：GEVRM的关键设计包括：1) 使用Transformer架构构建文本引导的视频生成模型，以生成高质量的目标视频。2) 使用原型对比学习来优化内部嵌入，使其能够区分不同的扰动类型。3) 设计合适的损失函数，包括视频生成损失、对比学习损失和动作执行损失，以优化整个模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GEVRM在标准和扰动的CALVIN基准测试中均取得了SOTA性能。在扰动环境下，GEVRM的性能显著优于现有方法，例如，在某些任务中，成功率提高了10%以上。此外，GEVRM在实际机器人任务中也表现出良好的鲁棒性，能够成功完成各种操作，即使在存在外部扰动的情况下。

🎯 应用场景

GEVRM具有广泛的应用前景，可用于各种需要鲁棒视觉操作的机器人任务，例如家庭服务机器人、工业自动化机器人和医疗机器人。该模型可以帮助机器人在复杂和动态的环境中执行任务，提高其自主性和可靠性。未来，GEVRM可以进一步扩展到处理更复杂的扰动和任务，并与其他机器人技术相结合，实现更智能的机器人系统。

📄 摘要（原文）

With the rapid development of embodied artificial intelligence, significant progress has been made in vision-language-action (VLA) models for general robot decision-making. However, the majority of existing VLAs fail to account for the inevitable external perturbations encountered during deployment. These perturbations introduce unforeseen state information to the VLA, resulting in inaccurate actions and consequently, a significant decline in generalization performance. The classic internal model control (IMC) principle demonstrates that a closed-loop system with an internal model that includes external input signals can accurately track the reference input and effectively offset the disturbance. We propose a novel closed-loop VLA method GEVRM that integrates the IMC principle to enhance the robustness of robot visual manipulation. The text-guided video generation model in GEVRM can generate highly expressive future visual planning goals. Simultaneously, we evaluate perturbations by simulating responses, which are called internal embeddings and optimized through prototype contrastive learning. This allows the model to implicitly infer and distinguish perturbations from the external environment. The proposed GEVRM achieves state-of-the-art performance on both standard and perturbed CALVIN benchmarks and shows significant improvements in realistic robot tasks.