RoboFQE: Rollout-Free Evaluation of Visual Robot Policies from Offline Trajectories

📄 arXiv: 2610.18699v1 📥 PDF

作者: Yunfu Deng, Sangwoo Shin, Brahma S. Pavse, Josiah P. Hanna

分类: cs.RO

发布日期: 2026-10-13

💡 一句话要点

提出RoboFQE以解决机器人策略评估中的回滚需求问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人策略评估 离线轨迹 视觉模型 折扣期望回报 长时间操控任务 预训练模型 策略排名

📋 核心要点

  1. 现有的机器人策略评估方法依赖于回滚过程，存在基础设施要求和预测误差累积的问题。
  2. 本文提出的RoboFQE评估器通过离线轨迹估计目标策略的折扣期望回报，避免了回滚的需求。
  3. 实验结果显示，RoboFQE在长时间操控任务中表现优异，准确性高且策略排名稳定。

📝 摘要（中文）

在机器人策略部署前的评估通常需要通过真实执行、模拟器或学习的世界模型生成新轨迹。现有的基于回滚的方法存在基础设施要求，且模拟器和世界模型评估器面临的预测误差可能在评估过程中累积。本文研究了离线策略评估作为一种替代方案，提出了RoboFQE评估器，该评估器能够从离线机器人轨迹中估计目标策略的折扣期望回报，而无需估计行为策略密度。通过在模拟和真实世界的操控任务中进行的控制实验表明，RoboFQE能够产生准确的折扣回报估计，并在长时间操控任务中保持策略排名的稳定性。

🔬 方法详解

问题定义：本文旨在解决传统机器人策略评估方法中依赖回滚过程的不足，尤其是基础设施要求和预测误差累积的问题。现有方法在长时间评估中表现不佳，影响了策略的可靠性。

核心思路：RoboFQE通过结合拟合Q评估与预训练视觉基础模型，利用离线轨迹直接估计目标策略的折扣期望回报，避免了对行为策略密度的估计，从而简化了评估过程。

技术框架：RoboFQE的整体架构包括三个主要模块：离线轨迹输入模块、预训练视觉模型模块和折扣回报估计模块。首先，系统接收离线轨迹数据，然后通过视觉模型提取特征，最后计算目标策略的折扣期望回报。

关键创新：RoboFQE的主要创新在于其无需行为策略密度的估计，直接从离线数据中进行评估，这与传统方法形成了显著对比，尤其在长时间操控任务中表现出色。

关键设计：在设计中，预训练的视觉编码器显著优于从头训练的模型，尤其是在长时间任务中。此外，学习的终端成功注释使得评估过程无需真实奖励标签，仅略微降低了准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，RoboFQE在长时间操控任务中能够准确估计折扣回报，且策略排名保持稳定。与视频世界模型评估器相比，RoboFQE在面对自回归预测误差时表现出更高的鲁棒性。预训练视觉编码器的使用使得评估准确性显著提升，尤其是在复杂任务中。

🎯 应用场景

RoboFQE的研究成果在机器人操控、自动化生产和智能家居等领域具有广泛的应用潜力。通过提高策略评估的效率和准确性，该方法能够加速机器人系统的开发与部署，降低实际应用中的风险和成本。未来，RoboFQE还可能推动更多基于视觉的智能系统的评估方法发展。

📄 摘要（原文）

Evaluating robot policies before deployment typically requires producing new trajectories through real-world execution, simulators, or learned world models. These rollout-based approaches impose infrastructure requirements; simulator and world-model evaluators additionally face prediction errors that can compound over the evaluation horizon. In this paper, we study off-policy evaluation as an alternative to rollout-based robot-policy evaluation methods. Specifically, we introduce RoboFQE, an evaluator that estimates the discounted expected return of a target policy from offline robot trajectories without estimating a behavior-policy density, combining fitted Q-evaluation with a pretrained vision foundation model and learned terminal success annotation to bridge the gap between standard OPE benchmarks and continuous-control visual manipulation. Controlled experiments across simulated and real-world manipulation tasks show that RoboFQE produces accurate discounted-return estimates and preserves policy rankings even on long-horizon manipulation tasks where video world-model evaluators are degraded by autoregressive prediction errors. Ablation experiments show that pretrained vision encoders substantially outperform from-scratch alternatives, particularly on long-horizon tasks, and that learned terminal success annotation enables evaluation without ground-truth reward labels with only slight reduction of accuracy.