RoVer: Robot Reward Model as Test-Time Verifier for Vision-Language-Action Model

📄 arXiv: 2510.10975v2 📥 PDF

作者: Mingtong Dai, Lingbo Liu, Yongjie Bai, Yang Liu, Zhouxia Wang, Rui SU, Chunjie Chen, Liang Lin, Xinyu Wu

分类: cs.RO

发布日期: 2025-10-13 (更新: 2025-10-14)

💡 一句话要点

RoVer：提出基于奖励模型的机器人测试时验证框架，提升VLA模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人 视觉-语言-动作模型 奖励模型 测试时验证 具身智能

📋 核心要点

  1. 现有VLA模型依赖大规模数据和模型扩展来提升性能，但机器人数据收集成本高昂，限制了模型发展。
  2. RoVer框架利用机器人过程奖励模型(PRM)作为测试时验证器，无需修改模型结构即可提升性能。
  3. RoVer通过缓存感知特征，在相同计算预算下评估更多候选动作，实现高效的测试时扩展。

📝 摘要（中文）

视觉-语言-动作(VLA)模型已成为具身智能的重要范例，但进一步的性能提升通常依赖于扩大训练数据和模型规模，这种方法对于机器人技术来说成本高昂，并且从根本上受到数据收集成本的限制。我们提出了RoVer，一个具身的测试时扩展框架，它使用机器人过程奖励模型(PRM)作为测试时验证器，以增强现有VLA模型的能力，而无需修改它们的架构或权重。具体来说，RoVer (i) 分配基于标量的过程奖励来评估候选动作的可靠性，以及 (ii) 预测动作空间方向以进行候选扩展/细化。在推理过程中，RoVer从基本策略并发生成多个候选动作，沿着PRM预测的方向扩展它们，然后使用PRM对所有候选动作进行评分，以选择最佳执行动作。值得注意的是，通过缓存共享的感知特征，它可以分摊感知成本，并在相同的测试时计算预算下评估更多的候选动作。本质上，我们的方法有效地将可用的计算资源转化为更好的动作决策，从而在没有额外训练开销的情况下实现测试时扩展的优势。我们的贡献有三方面：(1) 一个通用的、即插即用的VLA测试时扩展框架；(2) 一个PRM，它共同提供标量过程奖励和一个动作空间方向来指导探索；(3) 一种高效的方向引导采样策略，它利用共享感知缓存来实现推理过程中可扩展的候选生成和选择。

🔬 方法详解

问题定义：现有视觉-语言-动作(VLA)模型在机器人领域的应用受限于数据收集成本和模型规模。为了进一步提升性能，通常需要大量的训练数据和更大的模型，这对于机器人应用来说是不切实际的。因此，如何在不增加训练成本的前提下，提升现有VLA模型的性能是一个关键问题。

核心思路：RoVer的核心思路是利用一个机器人过程奖励模型(PRM)作为测试时验证器，对VLA模型生成的候选动作进行评估和优化。通过PRM，可以对候选动作的可靠性进行评分，并预测动作空间方向以进行候选扩展和细化。这样，即使在推理阶段，也能通过对多个候选动作的评估和选择，提升最终的动作决策质量。

技术框架：RoVer框架主要包含以下几个模块：1) VLA模型：作为基础策略生成候选动作；2) 机器人过程奖励模型(PRM)：用于评估候选动作的可靠性，并预测动作空间方向；3) 候选动作生成与扩展模块：基于VLA模型生成多个候选动作，并沿着PRM预测的方向进行扩展；4) 动作选择模块：使用PRM对所有候选动作进行评分，选择最佳动作执行；5) 共享感知缓存：缓存共享的感知特征，以分摊感知成本，提高效率。整个流程是在测试时进行的，无需修改VLA模型的架构或权重。

关键创新：RoVer的关键创新在于提出了一个基于奖励模型的测试时验证框架，它能够有效地利用计算资源来提升动作决策质量，而无需额外的训练开销。此外，PRM不仅提供标量奖励，还预测动作空间方向，从而指导候选动作的扩展和细化。共享感知缓存的设计也提高了计算效率。

关键设计：PRM的设计是关键。它需要能够准确地评估候选动作的可靠性，并预测有用的动作空间方向。具体实现细节（例如PRM的网络结构、损失函数等）在论文中应该有详细描述。另外，方向引导采样策略的设计也很重要，它需要能够有效地利用PRM预测的方向信息，生成高质量的候选动作。

📊 实验亮点

论文提出的RoVer框架在测试时显著提升了VLA模型的性能，而无需额外的训练。通过对多个候选动作的评估和选择，RoVer能够选择更优的动作策略。共享感知缓存的设计也提高了计算效率，使得在相同的计算预算下能够评估更多的候选动作。具体的性能提升数据需要在论文中查找。

🎯 应用场景

RoVer框架可广泛应用于各种机器人任务中，例如导航、操作和人机交互。它能够提升现有VLA模型在复杂环境中的表现，降低对大量训练数据的依赖，加速机器人智能的落地。该研究对于推动机器人技术在工业自动化、家庭服务和医疗保健等领域的应用具有重要意义。

📄 摘要（原文）

Vision-Language-Action (VLA) models have become a prominent paradigm for embodied intelligence, yet further performance improvements typically rely on scaling up training data and model size -- an approach that is prohibitively expensive for robotics and fundamentally limited by data collection costs. We address this limitation with $\mathbf{RoVer}$, an embodied test-time scaling framework that uses a $\mathbf{Ro}$bot Process Reward Model (PRM) as a Test-Time $\mathbf{Ver}$ifier to enhance the capabilities of existing VLA models without modifying their architectures or weights. Specifically, RoVer (i) assigns scalar-based process rewards to evaluate the reliability of candidate actions, and (ii) predicts an action-space direction for candidate expansion/refinement. During inference, RoVer generates multiple candidate actions concurrently from the base policy, expands them along PRM-predicted directions, and then scores all candidates with PRM to select the optimal action for execution. Notably, by caching shared perception features, it can amortize perception cost and evaluate more candidates under the same test-time computational budget. Essentially, our approach effectively transforms available computing resources into better action decision-making, realizing the benefits of test-time scaling without extra training overhead. Our contributions are threefold: (1) a general, plug-and-play test-time scaling framework for VLAs; (2) a PRM that jointly provides scalar process rewards and an action-space direction to guide exploration; and (3) an efficient direction-guided sampling strategy that leverages a shared perception cache to enable scalable candidate generation and selection during inference.