Grounding Robot Generalization in Training Data via Retrieval-Augmented VLMs

📄 arXiv: 2603.11426v1 📥 PDF

作者: Jensen Gao, Dorsa Sadigh, Sandy Huang, Dhruv Shah

分类: cs.RO

发布日期: 2026-03-12

备注: 12 pages

💡 一句话要点

RADAR：利用检索增强的视觉语言模型，将机器人泛化能力与训练数据对齐

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人泛化 视觉语言模型 策略评估 检索增强 机器人操作

📋 核心要点

  1. 现有机器人操作策略泛化研究难以准确评估测试环境与训练分布的差异，阻碍了泛化能力的精确评估。
  2. RADAR框架通过检索训练数据中相关样本，并利用视觉语言模型分析评估任务与训练数据的差异，从而确定所需的泛化类型。
  3. 实验表明，视觉语言模型能有效分析泛化数据，检索步骤能有效识别相关样本，且RADAR可扩展到大规模数据集。

📝 摘要（中文）

本文提出RADAR，一个可扩展的框架，用于直接比较测试时的评估任务与策略训练数据，从而确定所需的策略泛化类型，以更精确地评估机器人泛化能力。RADAR包含一个两阶段流程：首先，利用通用策略嵌入进行检索，识别与给定评估任务相关的训练样本。然后，视觉语言模型(VLMs)分析评估任务与检索到的数据，输出可解释的分析结果，比较它们在多个维度上的差异，并对所需的策略泛化类型进行总体分类。通过受控实验，证明了VLMs在分析泛化数据方面的有效性，并且检索步骤有效地识别了做出准确分类所需的样本。此外，RADAR可以扩展到大规模数据集，观察到与先前工作中人类定义的基准条件的一致性。

🔬 方法详解

问题定义：现有机器人操作策略泛化研究的难点在于，难以量化评估测试环境与训练数据分布之间的差异。这使得我们难以准确判断一个策略在新的测试环境中表现不佳，是因为它真的不具备泛化能力，还是因为测试环境与训练数据差异过大，超出了策略的适用范围。因此，需要一种方法来明确测试环境与训练数据之间的关系，从而更精确地评估策略的泛化能力。

核心思路：RADAR的核心思路是，通过将测试环境与训练数据进行比较，来确定所需的泛化类型。具体来说，它首先检索训练数据中与测试环境最相关的样本，然后利用视觉语言模型来分析测试环境与检索到的训练样本之间的差异。通过这种方式，RADAR可以提供关于策略需要在哪些方面进行泛化的可解释的分析结果。

技术框架：RADAR框架包含两个主要阶段：1. 检索阶段：使用通用策略嵌入来检索训练数据中与给定评估任务相关的样本。这一阶段的目标是找到训练数据中与测试环境最相似的样本，以便后续的分析。2. 分析阶段：使用视觉语言模型(VLMs)来分析评估任务与检索到的数据。VLMs会比较它们在多个维度上的差异，并输出可解释的分析结果，以及对所需的策略泛化类型进行总体分类。

关键创新：RADAR的关键创新在于，它将检索和视觉语言模型结合起来，用于分析机器人策略的泛化能力。通过检索，RADAR可以有效地找到与测试环境相关的训练数据，而视觉语言模型则可以提供关于测试环境与训练数据之间差异的可解释的分析结果。这种结合使得RADAR能够更精确地评估策略的泛化能力，并为策略的改进提供指导。

关键设计：在检索阶段，RADAR使用通用策略嵌入来表示训练数据和评估任务。这些嵌入是通过训练一个通用的机器人策略来学习的，该策略可以在各种不同的任务上执行。在分析阶段，RADAR使用预训练的视觉语言模型，例如CLIP，来比较评估任务与检索到的训练数据。RADAR还定义了一组预定义的泛化类型，例如“目标泛化”和“环境泛化”，用于对所需的策略泛化类型进行分类。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，视觉语言模型在分析泛化数据方面是有效的，并且检索步骤有效地识别了做出准确分类所需的样本。RADAR可以扩展到大规模数据集，并且观察到与先前工作中人类定义的基准条件的一致性。这些结果表明，RADAR是一个有前途的框架，用于评估机器人策略的泛化能力。

🎯 应用场景

RADAR可应用于机器人操作策略的开发和评估，帮助研究人员和工程师更好地理解策略的泛化能力，并针对性地改进策略。此外，RADAR还可以用于自动生成机器人操作任务的训练数据，从而降低训练成本。该研究的未来影响在于，它有望推动机器人操作策略的泛化能力，使机器人能够更好地适应新的环境和任务。

📄 摘要（原文）

Recent work on robot manipulation has advanced policy generalization to novel scenarios. However, it is often difficult to characterize how different evaluation settings actually represent generalization from the training distribution of a given policy. To work towards more precise evaluation of generalization in robotics, we propose RADAR, a scalable framework for directly comparing test-time evaluation tasks to policy training data, to determine what form of policy generalization is required. RADAR consists of a two-stage pipeline: first, retrieval using generalist policy embeddings identifies which training examples are relevant for a given evaluation task. Next, vision-language models (VLMs) analyze the evaluation task against the retrieved data, outputting interpretable analysis on how they compare along a variety of axes, and an overall classification of what type of policy generalization is required. Through controlled experiments, we demonstrate that VLMs are effective at analyzing data for generalization, and that our retrieval step effectively identifies examples needed to make accurate classifications with respect to the training data. Furthermore, we scale RADAR to large-scale datasets, where we observe agreement with human-defined benchmark conditions from prior work. We provide demonstrations at radar-analysis.github.io.