RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments
作者: Zhiqin Yang, Chenxin Li, Xiaomeng Hu, Yibin Liu, Weidong Huang, Jiankai Sun, Haitao Li, Zijian Wu, Yuzhi Huang, Fanding Huang, Hanwen Sun, Jiashun Liu, Jingqi Tong, Mingxin Huang, Shaoli Hu, Shijue Huang, Tianyi Bai, Xinyuan Wang, Yunlong Lin, Zhengyang Tang, Zhexin Zhang, Zhuo Chen, Xierui Song, Juntao Dai, Boyuan Chen, Jiaming Ji, Fangneng Zhan, Mengkang Hu, Wei Xue, Yonggang Zhang, Han Hu, Tsung-Yi Ho, Yike Guo
分类: cs.RO, cs.LG
发布日期: 2026-10-07
备注: 62 pages, 25 figures
💡 一句话要点
提出RobotWorld以评估多模态智能体在机器人任务中的表现
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态智能体 机器人任务 能力转移 模拟测试平台 任务执行评估
📋 核心要点
- 现有智能体在物理任务执行中的能力转移存在显著差距，导致任务完成不可靠。
- 提出RobotWorld作为一个多任务的模拟测试平台，系统评估智能体在物理任务中的表现。
- 通过对比不同智能体在多种任务中的表现，识别出能力转移的模式和不足之处。
📝 摘要（中文）
随着通用智能体在编写代码、使用工具和完成复杂数字任务方面的能力不断提升，如何将这些能力转化为物理世界的应用成为一个重要问题。为此，本文引入了RobotWorld，一个具有挑战性的机器人使用模拟测试平台，涵盖84个任务，涉及操控、移动操控、行走、驾驶和空中控制等领域。通过分析任务结果和执行轨迹，识别出能力转移和可靠完成之间的差距。研究发现，当前智能体能够构建复杂的感知和控制工作流，但在成功行为的组成上存在不一致性，导致任务相关对象状态丢失、无效动作无法及时纠正等问题。不同模型在任务成功率上表现差异，RobotWorld为训练和设计更可靠的物理世界智能体提供了明确的目标。
🔬 方法详解
问题定义：本文旨在解决现有智能体在物理任务执行中的能力转移不足的问题，现有方法在复杂任务中表现不稳定，导致任务完成率低下。
核心思路：通过构建RobotWorld测试平台，系统评估智能体在多种物理任务中的表现，分析其执行轨迹与结果，识别能力转移的成功与失败因素。
技术框架：RobotWorld包含84个任务，涵盖操控、移动操控、行走、驾驶和空中控制等领域。每个任务设定明确的交互预算和可执行成功检查，便于评估智能体的表现。
关键创新：本文的创新在于通过系统化的测试平台，提供了对智能体在物理世界中表现的全面评估，揭示了能力转移的具体模式和差距。
关键设计：任务设计中考虑了多种交互方式和执行条件，确保任务的多样性和挑战性，同时通过执行轨迹分析，识别出智能体在任务执行中的关键问题。
🖼️ 关键图片
📊 实验亮点
实验结果表明，不同模型在任务成功率上存在显著差异，例如Astra在空间和约束接触目标上表现更佳，而Opus 5.5在连续平衡和定时交互目标上更为成功。这些发现为智能体的训练和设计提供了具体的改进方向。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动驾驶、无人机控制等，能够为智能体在实际物理环境中的应用提供重要的理论基础和实践指导。未来，RobotWorld有望推动智能体在复杂任务中的可靠性和适应性提升。
📄 摘要（原文）
General-purpose agents increasingly write code, use tools, and complete complex digital tasks, raising the question of how far these capabilities carry into the physical world. To investigate this, we introduce RobotWorld, a challenging simulation testbed for robot use: turning instructions and observations into physical task execution through robot interfaces. Its 84 tasks span manipulation, mobile manipulation, locomotion, driving, and aerial control, with explicit interaction budgets and executable success checks. By analysing task outcomes alongside execution traces, we identify both the capabilities that transfer and the gaps that prevent reliable completion. Furthermore, we find that current agents can construct sophisticated perception and control workflows, including image segmentation, camera calibration, spatial estimation, and dynamics-based computation. These capabilities, however, do not consistently compose into successful behaviour: agents lose task-relevant object states despite reaching commanded poses, fail to correct ineffective actions, recover too late, or mistake unfinished tasks for completion. This uneven transfer also differs across models: Astra succeeds more often on spatial and constrained-contact goals, whereas Opus 5.5 succeeds more often on continuous-balance and timed-interaction goals. By linking these outcomes to execution behaviour, RobotWorld provides both a rigorous proving ground and an empirical account of the remaining capability gaps, thereby establishing concrete targets for training and designing more reliable physical-world agents.