Rewarding DINO: Predicting Dense Rewards with Vision Foundation Models
作者: Pierre Krack, Tobias Jülg, Wolfram Burgard, Florian Walter
分类: cs.RO, cs.LG
发布日期: 2026-03-17
备注: 10 pages, 5 figures, submitted to IEEE
💡 一句话要点
Rewarding DINO：利用视觉基础模型预测稠密奖励，提升机器人操作任务性能
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 稠密奖励函数 视觉基础模型 语言条件建模 奖励预测 DINO Meta-World
📋 核心要点
- 现有稠密奖励函数设计依赖特权状态信息，且基于专家演示的方法存在偏差，难以泛化。
- Rewarding DINO通过语言条件奖励建模，学习实际奖励函数而非特定轨迹，实现更好的泛化能力。
- 实验表明，Rewarding DINO在Meta-World+任务中表现出色，并能推广到新的模拟和真实世界环境。
📝 摘要（中文）
在机器人操作中，精心设计的稠密奖励函数不仅指示任务是否完成，还编码了过程中的进展。设计稠密奖励通常具有挑战性，并且通常需要访问仅在模拟中可用的特权状态信息，而无法在真实世界的实验中使用。这使得从相机图像推断任务状态信息的奖励预测模型具有吸引力。一种常见的方法是基于视觉相似性或顺序帧排序，从专家演示中预测奖励。然而，这会将生成的奖励函数偏向于特定解决方案，并且在演示未覆盖的状态中未定义。本文介绍了一种语言条件奖励建模方法Rewarding DINO，它学习实际的奖励函数，而不是特定的轨迹。该模型的紧凑尺寸使其可以直接替代分析奖励函数，且计算开销相对较低。我们使用基于排序的损失在从24个Meta-World+任务中采样的数据上训练我们的模型，并评估成对准确率、等级相关性和校准。Rewarding DINO在训练集中的任务中实现了有竞争力的性能，并且推广到模拟和真实世界中的新设置，表明它学习了任务语义。我们还使用现成的强化学习算法测试了该模型，以解决来自我们的Meta-World+训练集的任务。
🔬 方法详解
问题定义：现有机器人操作任务的稠密奖励函数设计面临两个主要问题。一是依赖于模拟环境中的特权状态信息，这在真实世界中难以获取。二是基于专家演示学习奖励函数的方法，容易产生偏差，导致模型只能学习到特定的轨迹，而无法泛化到未见过的状态。因此，需要一种能够从视觉输入中学习通用奖励函数的方法，从而解决真实世界机器人操作任务中的奖励函数设计难题。
核心思路：Rewarding DINO的核心思路是利用视觉基础模型（DINO）提取图像特征，并结合语言指令，学习一个能够预测稠密奖励的函数。该方法不依赖于特权状态信息，而是直接从视觉输入中推断任务状态，并通过语言指令来指导奖励函数的学习。通过学习实际的奖励函数，而非特定的轨迹，Rewarding DINO能够更好地泛化到新的环境和任务中。
技术框架：Rewarding DINO的整体框架包括以下几个主要模块：1) 视觉编码器：使用DINO模型提取图像的视觉特征。2) 语言编码器：将语言指令编码为向量表示。3) 奖励预测器：将视觉特征和语言向量作为输入，预测稠密奖励。4) 训练模块：使用基于排序的损失函数，训练奖励预测器，使其能够区分不同状态的奖励大小。整个流程是，给定图像和语言指令，DINO提取视觉特征，语言编码器处理指令，然后奖励预测器结合两者预测奖励，最后通过排序损失进行优化。
关键创新：Rewarding DINO的关键创新在于：1) 使用视觉基础模型DINO作为视觉编码器，能够提取更丰富的图像特征。2) 采用语言条件奖励建模，使得奖励函数能够根据语言指令进行调整，从而实现更灵活的任务控制。3) 使用基于排序的损失函数，能够更好地学习奖励函数的相对大小关系，从而提高奖励预测的准确性。与现有方法相比，Rewarding DINO能够学习更通用的奖励函数，并具有更好的泛化能力。
关键设计：Rewarding DINO的关键设计包括：1) DINO模型的选择：选择预训练的DINO模型作为视觉编码器，能够利用其强大的视觉表征能力。2) 语言编码器的设计：使用简单的embedding层将语言指令编码为向量表示。3) 奖励预测器的结构：使用多层感知机（MLP）作为奖励预测器，将视觉特征和语言向量映射到奖励值。4) 排序损失函数的选择：使用基于hinge loss的排序损失函数，鼓励模型将奖励较高的状态排在前面。5) Meta-World+数据集：使用Meta-World+数据集进行训练和评估，该数据集包含多个机器人操作任务，能够有效地评估模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
Rewarding DINO在Meta-World+数据集上进行了实验，结果表明，该方法在训练集中的任务中实现了有竞争力的性能，并且能够推广到新的模拟和真实世界环境。具体来说，Rewarding DINO在成对准确率、等级相关性和校准等方面都取得了良好的结果，表明其能够有效地学习奖励函数。此外，使用现成的强化学习算法，Rewarding DINO也能够成功解决来自Meta-World+训练集的任务。
🎯 应用场景
Rewarding DINO在机器人操作领域具有广泛的应用前景，例如可以用于自动化装配、物体抓取、导航等任务。该方法能够降低机器人任务设计的难度，提高机器人的自主性和适应性。未来，Rewarding DINO可以应用于更复杂的机器人系统，例如服务机器人、工业机器人等，从而实现更智能、更高效的自动化生产。
📄 摘要（原文）
Well-designed dense reward functions in robot manipulation not only indicate whether a task is completed but also encode progress along the way. Generally, designing dense rewards is challenging and usually requires access to privileged state information available only in simulation, not in real-world experiments. This makes reward prediction models that infer task state information from camera images attractive. A common approach is to predict rewards from expert demonstrations based on visual similarity or sequential frame ordering. However, this biases the resulting reward function towards a specific solution and leaves it undefined in states not covered by the demonstrations. In this work, we introduce Rewarding DINO, a method for language-conditioned reward modeling that learns actual reward functions rather than specific trajectories. The model's compact size allows it to serve as a direct replacement for analytical reward functions with comparatively low computational overhead. We train our model on data sampled from 24 Meta-World+ tasks using a rank-based loss and evaluate pairwise accuracy, rank correlation, and calibration. Rewarding DINO achieves competitive performance in tasks from the training set and generalizes to new settings in simulation and the real world, indicating that it learns task semantics. We also test the model with off-the-shelf reinforcement learning algorithms to solve tasks from our Meta-World+ training set.