Vision Language Models are In-Context Value Learners

📄 arXiv: 2411.04549v1 📥 PDF

作者: Yecheng Jason Ma, Joey Hejna, Ayzaan Wahid, Chuyuan Fu, Dhruv Shah, Jacky Liang, Zhuo Xu, Sean Kirmani, Peng Xu, Danny Driess, Ted Xiao, Jonathan Tompson, Osbert Bastani, Dinesh Jayaraman, Wenhao Yu, Tingnan Zhang, Dorsa Sadigh, Fei Xia

分类: cs.RO, cs.AI, cs.LG

发布日期: 2024-11-07

备注: Project website and demo: https://generative-value-learning.github.io/

💡 一句话要点

提出Generative Value Learning (GVL)，利用视觉语言模型进行上下文价值学习，实现通用任务进度估计。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉语言模型 价值学习 任务进度估计 上下文学习 机器人学习

📋 核心要点

  1. 现有方法在跨不同任务和领域学习任务进度估计器（时间价值函数）时，需要大量多样化数据，且泛化能力不足。
  2. GVL利用视觉语言模型的世界知识，将价值估计转化为对打乱视频帧的时间排序问题，鼓励模型利用语义和时间信息。
  3. GVL在超过300个真实世界任务上实现了零样本和少样本价值预测，无需特定任务训练，并支持多模态上下文学习。

📝 摘要（中文）

本文提出了一种名为Generative Value Learning (GVL) 的通用价值函数估计器，旨在利用视觉语言模型 (VLM) 中蕴含的世界知识来预测任务进度。由于视频帧之间存在很强的时间相关性，直接让 VLM 预测视频序列的价值表现不佳。GVL 将价值估计转化为对打乱的视频帧进行时间排序的问题。这种看似更具挑战性的任务鼓励 VLM 更充分地利用其潜在的语义和时间基础能力来区分帧，从而产生明显更好的价值预测。无需任何机器人或任务特定的训练，GVL 即可对超过 300 个不同的真实世界任务进行上下文零样本和少样本价值预测，涵盖各种机器人平台，包括具有挑战性的双手操作任务。此外，GVL 允许通过来自异构任务和具身（例如人类视频）的示例进行灵活的多模态上下文学习。GVL 的通用性支持各种与视觉运动策略学习相关的下游应用，包括数据集过滤、成功检测和优势加权回归，所有这些都无需任何模型训练或微调。

🔬 方法详解

问题定义：论文旨在解决机器人领域中跨任务、跨领域学习通用任务进度估计器（时间价值函数）的问题。现有方法需要大量特定任务的数据进行训练，泛化能力差，难以适应新的任务和环境。直接使用视觉语言模型预测视频序列的价值，由于帧间强相关性，效果不佳。

核心思路：GVL的核心思路是将价值估计问题转化为一个时间排序问题。具体来说，将视频帧打乱顺序，然后让视觉语言模型根据其对任务进度的理解，对这些帧进行排序。这种方法迫使模型不仅仅依赖于相邻帧之间的相关性，而是需要理解整个任务的语义信息，从而更好地进行价值估计。

技术框架：GVL的整体框架包括以下几个步骤：1）输入视频序列；2）将视频帧打乱顺序；3）使用视觉语言模型对打乱的帧进行排序；4）根据排序结果估计任务进度（价值）。该框架的关键在于利用视觉语言模型强大的语义理解能力，以及将价值估计转化为排序问题的巧妙设计。

关键创新：GVL最重要的创新点在于将价值估计问题转化为时间排序问题。这种转化使得模型能够更好地利用视觉语言模型中蕴含的先验知识，从而实现更好的泛化能力。此外，GVL还支持多模态上下文学习，可以利用来自不同任务和具身（例如人类视频）的示例进行学习。

关键设计：GVL的关键设计包括：1）使用预训练的视觉语言模型，例如CLIP；2）设计合适的排序损失函数，例如pairwise ranking loss；3）利用上下文学习，通过少量示例来指导模型的价值估计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GVL在超过300个真实世界任务上进行了评估，无需任何机器人或任务特定的训练，即可实现有效的零样本和少样本价值预测。实验结果表明，GVL在各种机器人平台（包括具有挑战性的双手操作任务）上都表现出色，并且能够利用来自异构任务和具身的示例进行多模态上下文学习。

🎯 应用场景

GVL具有广泛的应用前景，可用于机器人数据集过滤，筛选高质量数据；进行成功检测，判断任务是否完成；以及用于优势加权回归，提升策略学习效果。该方法无需模型训练或微调，降低了应用门槛，加速了机器人智能化的发展。

📄 摘要（原文）

Predicting temporal progress from visual trajectories is important for intelligent robots that can learn, adapt, and improve. However, learning such progress estimator, or temporal value function, across different tasks and domains requires both a large amount of diverse data and methods which can scale and generalize. To address these challenges, we present Generative Value Learning (\GVL), a universal value function estimator that leverages the world knowledge embedded in vision-language models (VLMs) to predict task progress. Naively asking a VLM to predict values for a video sequence performs poorly due to the strong temporal correlation between successive frames. Instead, GVL poses value estimation as a temporal ordering problem over shuffled video frames; this seemingly more challenging task encourages VLMs to more fully exploit their underlying semantic and temporal grounding capabilities to differentiate frames based on their perceived task progress, consequently producing significantly better value predictions. Without any robot or task specific training, GVL can in-context zero-shot and few-shot predict effective values for more than 300 distinct real-world tasks across diverse robot platforms, including challenging bimanual manipulation tasks. Furthermore, we demonstrate that GVL permits flexible multi-modal in-context learning via examples from heterogeneous tasks and embodiments, such as human videos. The generality of GVL enables various downstream applications pertinent to visuomotor policy learning, including dataset filtering, success detection, and advantage-weighted regression -- all without any model training or finetuning.