Frontier LLMs Enter the World of Robotics: A Cross-Model Evaluation on RoboColiseum
作者: Da Huang, Jichao Wang, Junhui Wu, Tong Ran, Linting Guo, Siying Zhang, Chuang Men, Sukai Wang, Yue Zhou, Maoqing Yao, Mo Wu
分类: cs.RO
发布日期: 2026-10-20
💡 一句话要点
通过Agent2Act评估多模态大语言模型在机器人控制中的应用
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 机器人控制 Agent2Act RoboColiseum 指令跟随 空间推理 一般操作 鲁棒性评估
📋 核心要点
- 现有多模态大语言模型在机器人控制中的表现尚未充分表征，尤其是在不同任务和执行环境下的能力。
- 本文提出了Agent2Act控制框架，整合多种大语言模型进行多维度评估，旨在全面分析其在机器人控制中的表现。
- 实验结果表明，模型在指令跟随和空间推理方面表现优异，但在一般操作上仍有待提升，揭示了模型的互补优势。
📝 摘要（中文）
近年来的研究探讨了多模态大语言模型在机器人控制中的潜力，但这些模型在不同任务和执行环境下的表现尚未充分表征。本文在RoboColiseum上进行多维度比较评估，涵盖指令跟随、空间推理、一般操作和鲁棒性四个轨道。通过Agent2Act控制框架，将GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5和Gemini 4 Argon整合到评估环境中。结果显示，四个模型在指令跟随和空间推理方面表现优异，但在一般操作上相对较弱，揭示了模型间的互补优势及任务理解与可靠物理执行之间的差距。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在机器人控制中的能力不足，尤其是在不同任务和执行环境下的表现不均衡问题。现有方法未能全面评估模型的实际应用能力。
核心思路：通过设计Agent2Act控制框架，将多种大语言模型整合到统一的评估环境中，利用共享观察、动作执行和反馈接口，进行系统性的比较评估。
技术框架：整体架构包括四个主要模块：指令跟随、空间推理、一般操作和鲁棒性评估。每个模块在相同的任务设置和评分标准下进行评估，确保结果的可比性。
关键创新：最重要的创新在于通过统一的控制框架实现多模型的比较评估，揭示了不同模型在特定任务上的优势和不足，填补了现有研究的空白。
关键设计：在设计中，采用了共享观察和反馈机制，以降低任务成功的规划成本和执行时间，同时对模型的参数设置和损失函数进行了优化，以提升整体性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，四个模型在指令跟随方面得分较高，其中三个模型接近完美表现；在空间推理方面表现强劲，但一般操作得分低于其他三个轨道。Astra在指令跟随和鲁棒性方面表现最佳，而Opus在空间推理和一般操作上领先，整体性能表现突出。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动化制造、服务机器人等，能够为机器人控制系统的设计提供理论支持和实践指导。未来，随着模型能力的提升，可能会在更复杂的环境中实现更高水平的自动化和智能化。
📄 摘要（原文）
Recent studies have explored the potential of multimodal large language models for robot control, yet the models' embodied capabilities remain insufficiently characterized across models, tasks, and execution settings. We conduct a multidimensional comparative evaluation on RoboColiseum across four tracks: Instruction Following, Spatial Reasoning, General Manipulation, and Robustness. We implement Agent2Act, a control harness that integrates GPT-6 Astra, GPT-6.1 Sol, Claude Opus 5.5, and Gemini 4 Argon into the evaluation environment through shared observation, action execution, and feedback interfaces. Under common task settings and scoring criteria, all four models exhibit a consistent capability profile: high instruction-following scores, with three approaching perfect performance; strong spatial reasoning; and general manipulation scores below those of the other three tracks. Within the evaluated configurations, Astra leads instruction following and robustness, while Opus leads spatial reasoning, general manipulation, and overall performance. These results reveal complementary strengths across models and a persistent gap between task understanding and reliable physical execution. Component comparisons on selected tasks further show that harness design affects task success, planning cost, and execution time. Additionally, case studies with Astra examine whole-body coordination, manipulation across robot embodiments, precision manipulation, dexterous-hand manipulation, and real-robot tasks, providing further insight into the model's capabilities and limitations across embodied tasks.