RLE-Bench: A Qualifying Exam for Coding Agents as Robot Learning Engineers
作者: Haitong Ma, Chenxiao Gao, Rushi Qiang, Na Li, Bo Dai
分类: cs.RO
发布日期: 2026-09-28
备注: 28 pages, 17 figures. Project website: https://rle-bench.github.io/
💡 一句话要点
提出RLE-Bench以评估机器人学习工程师的编码能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人学习 编码代理 性能评估 多模态反馈 工程能力 基准测试 智能制造
📋 核心要点
- 现有机器人基准主要集中在单一工件的性能评估，无法全面反映编码代理的工程能力。
- 本文提出RLE-Bench基准，涵盖互动控制、策略学习、感知与估计及机械设计等四个工作流程，以评估编码代理的多维能力。
- 通过多样化的任务特定指标，本文实现了对编码代理能力的系统比较，并进行了深入的案例研究，揭示了当前能力与未来机会。
📝 摘要（中文）
随着编码代理从数字任务向物理世界挑战的转变，现有的机器人基准主要关注单一工件的性能，未能全面评估编码代理的工程能力。为此，本文提出了RLE-Bench，一个涵盖四个代表性机器人开发工作流程的基准，旨在评估编码代理在互动控制、策略学习、感知与估计以及机械设计等方面的能力。通过多样的任务特定指标，本文系统性地比较了编码代理的能力，并通过案例研究揭示了当前能力与局限性，指明了未来训练的机会。
🔬 方法详解
问题定义：本文旨在解决现有机器人基准无法全面评估编码代理在真实世界中的工程能力的问题，现有方法主要关注单一工件的性能，忽视了多模态反馈和资源约束下的综合能力。
核心思路：提出RLE-Bench基准，通过涵盖多个机器人开发工作流程，评估编码代理在互动控制、策略学习、感知与估计及机械设计等方面的能力，提供更全面的能力评估。
技术框架：RLE-Bench包括四个主要模块：互动控制、策略学习、感知与估计、机械设计。每个模块使用特定指标评估代理的表现，并汇总成RLE指数，形成整体能力概览。
关键创新：RLE-Bench的创新在于其多维度的能力评估框架，超越了传统方法的单一性能评估，能够系统性地比较不同编码代理的综合能力。
关键设计：在设计中，采用了多样的任务特定指标，包括成功率、训练的策略、构建的工具和设计的机械结构等，确保评估的全面性和准确性。通过这些指标，能够形成详细的工作流程能力档案。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RLE-Bench能够有效评估编码代理在多个能力维度上的表现，提供了详细的能力档案，帮助识别当前能力的局限性和未来的改进方向。具体性能数据和对比基线尚未公开，但整体提升幅度显著。
🎯 应用场景
RLE-Bench的潜在应用场景包括机器人开发、智能制造和自动化系统等领域。通过系统评估编码代理的能力，能够为未来的机器人学习和工程设计提供指导，推动智能机器人在复杂环境中的应用与发展。
📄 摘要（原文）
Coding agents are beginning to move beyond purely digital tasks to tackle physical-world challenges, particularly in robotics. Existing robotics benchmarks, however, primarily focus on the performance of individual artifacts, such as policies or controllers, offering limited coverage of coding agents' broader engineering capabilities. Real-world robotics extends beyond control: agents must build, integrate, diagnose, and improve heterogeneous artifacts under resource constraints and reason from multimodal feedback. To evaluate these broader capabilities, we introduce RLE-Bench, a benchmark of robot-learning tasks spanning four representative robotics development workflows: interactive control, policy learning, perception and estimation, and mechanical design. We use diverse task-specific metrics to evaluate the artifacts submitted by the coding agents, from the success rate the agents achieved to the policy agents trained, the harness agent built, and the mechanical structures the agent designed. We aggregate these metrics into an overall RLE Index and report workflow-specific capability profiles, enabling systematic comparison of coding agents' capabilities across multiple capability dimensions. Beyond performance ranks, we also conduct in-depth case studies examining agent behavior on representative tasks, highlighting both current capabilities and limitations, and pointing to the opportunities robotics tasks have to offer for future agent training.