ARS: Agentic Reward System for Robot Learning
作者: Sheng Hu, Weiyi Lu, Lingbing Zeng, Gan Weng, Weiwei Zhang, Kai Xie, Xiaofeng Mou, Yi Xu
分类: cs.RO, cs.LG
发布日期: 2026-09-28
🔗 代码/项目: GITHUB
💡 一句话要点
提出Agentic Reward System以解决机器人学习中的进度奖励建模问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 进度奖励建模 视觉-语言模型 机器人学习 自适应视觉检查 策略学习 工业自动化 人机协作
📋 核心要点
- 现有方法在进度奖励建模中难以有效区分有意义的状态变化与无关动作，导致错误的进度估计。
- 本文提出的ARS框架通过自适应视觉检查实现事件提议与验证，提高了进度奖励建模的准确性。
- 实验结果表明，ARS在模拟策略学习中优于多个基线，并能有效支持真实机器人上的长时间策略学习。
📝 摘要（中文）
进度奖励建模是估计机器人行为如何随时间改变任务进度的问题。可靠的估计需要区分有意义的状态变化与失败尝试和与任务无关的动作。本文提出了Agentic Reward System（ARS），这是一个基于通用视觉-语言模型的进度奖励建模推理框架，无需额外的奖励模型训练。ARS利用自适应视觉检查进行事件提议和验证，能够结合可选的终端结果标签和视觉参考来指导判断。我们在控制的语义不匹配基准和真实机器人上的下游策略学习中评估了ARS，结果表明ARS在抑制错误进度估计方面优于现有基线，并支持从混合质量的离线经验中进行长时间策略学习。
🔬 方法详解
问题定义：本文解决的问题是如何准确估计机器人在执行任务过程中的进度奖励。现有方法往往无法有效区分有意义的状态变化与无关的尝试，导致错误的进度估计。
核心思路：ARS框架的核心思想是利用通用视觉-语言模型进行进度奖励建模，通过自适应视觉检查来提议和验证事件，从而提高估计的可靠性。
技术框架：ARS的整体架构包括两个主要模块：子代理负责提出与任务相关的事件时间线，主代理则对这些时间线进行验证和修正，最终估计每帧的进度。
关键创新：ARS的主要创新在于其无需额外的奖励模型训练，直接利用现有的视觉-语言模型进行推理，显著提高了进度奖励建模的准确性和效率。
关键设计：ARS设计中包含了可选的终端结果标签和视觉参考，以增强判断的准确性。同时，ARS能够审计外部奖励模型的进度估计，确保结果的可靠性。
🖼️ 关键图片
📊 实验亮点
在控制的语义不匹配基准测试中，ARS在抑制错误进度估计方面表现优异，相较于多个基线方法，ARS在模拟策略学习中显著提高了性能。此外，ARS在真实机器人上的多螺钉紧固任务中也展示了良好的长时间策略学习能力。
🎯 应用场景
该研究的潜在应用领域包括机器人自动化、智能制造和人机协作等。通过提高机器人在复杂任务中的学习能力，ARS能够显著提升工业生产效率和安全性，未来可能在更多实际场景中得到广泛应用。
📄 摘要（原文）
Progress reward modeling is the problem of estimating how a robot's behavior changes task progress over time. Reliable estimation requires distinguishing meaningful state changes from failed attempts and task-irrelevant actions. We introduce the Agentic Reward System (ARS), an inference framework for progress reward modeling with general-purpose vision-language models (VLMs), without additional reward-model training. Given an offline trajectory and a task instruction, ARS uses adaptive visual inspection for both event proposal and verification. A subagent proposes a task-relevant event timeline, which a primary agent verifies and revises before estimating per-frame progress. ARS can incorporate optional terminal outcome labels and visual references to inform its judgments. It can also audit progress estimates from external reward models. We evaluate ARS with a 27B VLM on a controlled semantic-mismatch benchmark and downstream policy learning in simulation and on a real robot. The benchmark reveals that several evaluated reward baselines assign spurious progress to wrong-object manipulation even in simple pick-and-place scenes. ARS better suppresses these errors and outperforms these baselines in simulation policy learning. We further demonstrate that ARS supports long-horizon policy learning from mixed-quality offline experience on real-robot multi-screw fastening in a full-scale laboratory replica of an industrial washing-machine assembly line. These results suggest that structured inference and verification can improve the usefulness of general-purpose VLMs for robot reward modeling. Code is at https://github.com/midea-ai/ars