GRAPE: Generalizing Robot Policy via Preference Alignment

📄 arXiv: 2411.19309v2 📥 PDF

作者: Zijian Zhang, Kaiyuan Zheng, Zhaorun Chen, Joel Jang, Yi Li, Siwei Han, Chaoqi Wang, Mingyu Ding, Dieter Fox, Huaxiu Yao

分类: cs.RO, cs.CV, cs.LG

发布日期: 2024-11-28 (更新: 2025-02-04)

备注: Website: https://grape-vla.github.io/

💡 一句话要点

GRAPE：通过偏好对齐泛化机器人策略，提升未见任务的泛化能力。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人策略 偏好对齐 视觉-语言-动作模型 泛化能力 强化学习

📋 核心要点

  1. 现有VLA模型依赖行为克隆，泛化性差，且易受专家演示数据偏差影响，难以适应多样化目标。
  2. GRAPE通过轨迹级别的偏好对齐，从成功和失败案例中学习，并利用时空约束引导偏好建模。
  3. 实验表明，GRAPE显著提升了VLA模型在领域内和未见任务上的成功率，并能优化安全性与效率。

📝 摘要（中文）

本文提出GRAPE（Generalizing Robot Policy via Preference Alignment），旨在解决视觉-语言-动作（VLA）模型在机器人任务中泛化性差的问题。现有VLA模型过度依赖成功案例的行为克隆，且通常针对专家演示进行微调，引入了分布偏差，限制了其对效率、安全和任务完成等多样化操作目标的适应性。GRAPE通过轨迹级别的偏好对齐，隐式地从成功和失败的试验中建模奖励，从而提高对不同任务的泛化能力。此外，GRAPE将复杂的操作任务分解为独立的阶段，并通过大型视觉-语言模型提出的关键点的自定义时空约束自动引导偏好建模。这些约束是灵活的，可以进行定制，以使模型与安全、效率或任务成功等各种目标对齐。实验结果表明，GRAPE增强了最先进的VLA模型的性能，在领域内和未见操作任务上的成功率分别提高了51.79%和58.20%。此外，GRAPE可以与各种目标对齐，例如安全性和效率，分别降低了37.44%的碰撞率和11.15%的rollout步长。

🔬 方法详解

问题定义：现有视觉-语言-动作（VLA）模型在机器人任务中，过度依赖于从成功案例中学习的行为克隆，导致模型难以泛化到未见过的任务。此外，模型通常针对专家演示数据进行微调，引入了数据分布偏差，限制了模型对不同操作目标（如效率、安全等）的适应性。因此，需要一种方法能够提升VLA模型在多样化任务中的泛化能力，并使其能够适应不同的操作目标。

核心思路：GRAPE的核心思路是通过偏好对齐来提升VLA模型的泛化能力。具体来说，GRAPE不再仅仅依赖于成功的演示数据，而是同时考虑成功和失败的试验，并从中学习奖励函数。此外，GRAPE将复杂的操作任务分解为多个独立的阶段，并利用大型视觉-语言模型提出的关键点，为每个阶段定义时空约束，从而引导偏好建模。这种方法使得模型能够学习到更加鲁棒和泛化的策略，并能够根据不同的任务目标进行调整。

技术框架：GRAPE的整体框架包含以下几个主要模块：1) 轨迹收集模块：收集机器人执行任务的轨迹数据，包括成功和失败的试验。2) 偏好建模模块：利用收集到的轨迹数据，学习一个奖励函数，该奖励函数能够区分成功和失败的轨迹。3) 任务分解模块：将复杂的操作任务分解为多个独立的阶段，并利用大型视觉-语言模型提出关键点。4) 时空约束模块：为每个阶段定义时空约束，引导偏好建模。5) 策略优化模块：利用学习到的奖励函数和时空约束，优化机器人的策略。

关键创新：GRAPE最重要的技术创新点在于其偏好对齐方法。与传统的行为克隆方法不同，GRAPE不仅考虑成功的演示数据，还考虑失败的试验，并从中学习奖励函数。此外，GRAPE还利用大型视觉-语言模型提出的关键点，为每个阶段定义时空约束，从而引导偏好建模。这种方法使得模型能够学习到更加鲁棒和泛化的策略。

关键设计：GRAPE的关键设计包括：1) 奖励函数的设计：奖励函数需要能够区分成功和失败的轨迹，并能够反映不同的操作目标（如效率、安全等）。2) 时空约束的设计：时空约束需要能够有效地引导偏好建模，并能够适应不同的任务和环境。3) 策略优化算法的选择：策略优化算法需要能够有效地利用学习到的奖励函数和时空约束，优化机器人的策略。论文中具体使用了何种奖励函数、时空约束和策略优化算法未知。

📊 实验亮点

GRAPE在真实世界和模拟环境中进行了广泛的实验验证。实验结果表明，GRAPE显著提升了最先进的VLA模型的性能，在领域内和未见操作任务上的成功率分别提高了51.79%和58.20%。此外，GRAPE可以与各种目标对齐，例如安全性和效率，分别降低了37.44%的碰撞率和11.15%的rollout步长。这些结果表明，GRAPE是一种有效的机器人策略泛化方法。

🎯 应用场景

GRAPE具有广泛的应用前景，可应用于各种机器人操作任务，例如：工业自动化、家庭服务机器人、医疗机器人等。通过偏好对齐，GRAPE能够使机器人更好地适应不同的任务和环境，并能够根据不同的操作目标进行优化，从而提高机器人的效率、安全性和可靠性。未来，GRAPE有望成为机器人领域的一项关键技术，推动机器人技术的进一步发展。

📄 摘要（原文）

Despite the recent advancements of vision-language-action (VLA) models on a variety of robotics tasks, they suffer from critical issues such as poor generalizability to unseen tasks, due to their reliance on behavior cloning exclusively from successful rollouts. Furthermore, they are typically fine-tuned to replicate demonstrations collected by experts under different settings, thus introducing distribution bias and limiting their adaptability to diverse manipulation objectives, such as efficiency, safety, and task completion. To bridge this gap, we introduce GRAPE: Generalizing Robot Policy via Preference Alignment. Specifically, GRAPE aligns VLAs on a trajectory level and implicitly models reward from both successful and failure trials to boost generalizability to diverse tasks. Moreover, GRAPE breaks down complex manipulation tasks to independent stages and automatically guides preference modeling through customized spatiotemporal constraints with keypoints proposed by a large vision-language model. Notably, these constraints are flexible and can be customized to align the model with varying objectives, such as safety, efficiency, or task success. We evaluate GRAPE across a diverse array of tasks in both real-world and simulated environments. Experimental results demonstrate that GRAPE enhances the performance of state-of-the-art VLA models, increasing success rates on in-domain and unseen manipulation tasks by 51.79% and 58.20%, respectively. Additionally, GRAPE can be aligned with various objectives, such as safety and efficiency, reducing collision rates by 37.44% and rollout step-length by 11.15%, respectively. All code, models, and data are available at https://grape-vla.github.io/