Training-free Generation of Temporally Consistent Rewards from VLMs

📄 arXiv: 2507.04789v1 📥 PDF

作者: Yinuo Zhao, Jiale Yuan, Zhiyuan Xu, Xiaoshuai Hao, Xinyi Zhang, Kun Wu, Zhengping Che, Chi Harold Liu, Jian Tang

分类: cs.RO

发布日期: 2025-07-07

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出T²-VLM，无需训练即可从VLM生成时序一致的机器人操作奖励。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 视觉语言模型 强化学习 奖励生成 免训练 时序一致性 贝叶斯跟踪 具身智能

📋 核心要点

  1. 现有方法难以在不微调VLM的情况下为机器人操作提供准确奖励，因为预训练数据集缺乏领域知识，且计算成本高昂。
  2. T²-VLM通过追踪VLM导出的子目标状态变化来生成奖励，无需额外训练，并利用贝叶斯跟踪算法保证时序一致性。
  3. 实验表明，T²-VLM在机器人操作任务上取得了SOTA性能，提高了奖励的准确性，并降低了计算成本。

📝 摘要（中文）

本文提出了一种名为T²-VLM的全新免训练、时序一致性框架，通过追踪VLM导出的子目标状态变化来生成精确的奖励，从而解决在机器人操作中，无需微调VLM即可提供准确奖励的挑战。该方法首先查询VLM以建立空间感知的子目标和初始完成度估计。然后，采用贝叶斯跟踪算法动态更新目标完成状态，并使用子目标隐藏状态为强化学习（RL）智能体生成结构化奖励。这种方法增强了长时程决策能力，并提高了RL的故障恢复能力。大量实验表明，T²-VLM在两个机器人操作基准测试中实现了最先进的性能，展示了卓越的奖励准确性和更低的计算消耗。该方法不仅推进了奖励生成技术，还有助于具身智能领域的进步。

🔬 方法详解

问题定义：现有方法在机器人操作任务中，依赖视觉语言模型（VLM）生成奖励信号时，面临两个主要痛点：一是VLM在预训练阶段缺乏机器人操作相关的领域知识，导致生成的奖励不准确；二是直接使用VLM进行推理计算成本高昂，难以满足实时性要求。因此，如何高效、准确地利用VLM为机器人操作生成奖励是一个关键问题。

核心思路：T²-VLM的核心思路是利用VLM生成空间感知的子目标，并通过贝叶斯跟踪算法动态更新这些子目标的完成状态。通过追踪子目标状态的变化，可以生成更精确、时序一致的奖励信号，从而指导强化学习智能体进行操作。这种方法避免了对VLM的微调，降低了计算成本，并提高了奖励的准确性。

技术框架：T²-VLM框架主要包含以下几个阶段：1) 子目标生成：在每个交互轮次开始前，使用VLM查询生成空间感知的子目标和初始完成度估计。2) 状态跟踪：采用贝叶斯跟踪算法，利用VLM的子目标隐藏状态动态更新目标完成状态。3) 奖励生成：基于更新后的目标完成状态，为强化学习智能体生成结构化的奖励信号。

关键创新：T²-VLM的关键创新在于：1) 免训练奖励生成：无需对VLM进行任何微调，即可生成高质量的奖励信号。2) 时序一致性：通过贝叶斯跟踪算法，保证了奖励信号在时间上的连贯性和稳定性。3) 空间感知子目标：利用VLM生成空间感知的子目标，使得奖励信号更具指导性。

关键设计：T²-VLM的关键设计包括：1) VLM的选择：论文中使用了特定的VLM模型，但具体模型选择未知，需要根据任务需求进行调整。2) 贝叶斯跟踪算法：具体采用了哪种贝叶斯跟踪算法未知，需要根据任务特点进行选择和优化。3) 奖励函数设计：奖励函数的设计需要考虑任务的特点和智能体的学习目标，需要仔细调整各个奖励项的权重。

🖼️ 关键图片

img_0

📊 实验亮点

T²-VLM在两个机器人操作基准测试中取得了SOTA性能，证明了其优越的奖励生成能力。相较于现有方法，T²-VLM在奖励准确性方面有显著提升，同时降低了计算消耗，使其更适用于实时机器人操作场景。具体性能数据和对比基线未知，需要参考论文原文。

🎯 应用场景

T²-VLM具有广泛的应用前景，可应用于各种机器人操作任务，例如物体抓取、装配、导航等。该方法可以降低机器人开发的成本和难度，提高机器人的智能化水平。此外，该方法还可以应用于虚拟环境中的强化学习训练，加速智能体的学习过程，并提高其泛化能力。未来，该方法有望在智能制造、智能家居、医疗机器人等领域发挥重要作用。

📄 摘要（原文）

Recent advances in vision-language models (VLMs) have significantly improved performance in embodied tasks such as goal decomposition and visual comprehension. However, providing accurate rewards for robotic manipulation without fine-tuning VLMs remains challenging due to the absence of domain-specific robotic knowledge in pre-trained datasets and high computational costs that hinder real-time applicability. To address this, we propose $\mathrm{T}^2$-VLM, a novel training-free, temporally consistent framework that generates accurate rewards through tracking the status changes in VLM-derived subgoals. Specifically, our method first queries the VLM to establish spatially aware subgoals and an initial completion estimate before each round of interaction. We then employ a Bayesian tracking algorithm to update the goal completion status dynamically, using subgoal hidden states to generate structured rewards for reinforcement learning (RL) agents. This approach enhances long-horizon decision-making and improves failure recovery capabilities with RL. Extensive experiments indicate that $\mathrm{T}^2$-VLM achieves state-of-the-art performance in two robot manipulation benchmarks, demonstrating superior reward accuracy with reduced computation consumption. We believe our approach not only advances reward generation techniques but also contributes to the broader field of embodied AI. Project website: https://t2-vlm.github.io/.