An Unexpected Robot Policy: Early Evaluations of GPT-6 Astra on RoboDojo and Beyond

📄 arXiv: 2609.24170v1 📥 PDF

作者: Wenbo Zhang, Kaixuan Wang, Yutao Ouyang, Xiaoyu Huang, Liyang Li, Kailun Su, Weiyang Jin, Wenhao Chai, Haotian Liang, Zhiyang Dou, Yue Chen, Tianxing Chen

分类: cs.CV

发布日期: 2026-09-21

备注: 24 pages

💡 一句话要点

提出LLM作为机器人操控策略以提升任务成功率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 机器人操控 RoboDojo 通用操控 智能机器人 任务成功率 深度学习

📋 核心要点

  1. 现有的机器人操控方法在高精度控制和复杂协调任务中表现不佳，限制了其应用范围。
  2. 本文提出将大型语言模型作为机器人操控策略，探索其在不进行微调的情况下的有效性。
  3. 实验结果显示，GPT-6 Astra在RoboDojo任务中表现优异，成功率显著高于其他模型，展现出其潜在的通用性。

📝 摘要（中文）

具身人工智能系统通常分为系统1和系统2。系统1是预训练的策略，生成高频率的动作；系统2则是用于高层规划的视觉增强语言模型。本文探讨大型语言模型（LLM）是否可以在不进行任务特定微调的情况下，作为机器人操控的策略。我们在42个RoboDojo任务上评估了三种LLM，并与40个公共策略进行比较。GPT-6 Astra在2100次试验中取得22.48%的平均成功率和28.97的得分，超越所有公共条目。尽管Astra在语义理解任务上表现良好，但在需要高精度控制的任务上表现不佳。整体来看，评估的LLM在操控性能上差异显著，Astra为通用操控模型的潜力提供了初步证据。

🔬 方法详解

问题定义：本文旨在解决现有机器人操控策略在高精度控制和复杂任务中的不足，探索大型语言模型在操控中的应用潜力。

核心思路：通过将大型语言模型（LLM）作为机器人操控策略，研究其在不进行任务特定微调的情况下的表现，旨在实现更高的任务成功率。

技术框架：整体架构包括三个主要模块：1）预训练的语言模型作为策略生成器；2）任务执行模块，负责将生成的策略转化为具体动作；3）评估模块，通过RoboDojo平台对策略效果进行评估。

关键创新：最重要的创新点在于将LLM直接应用于机器人操控任务，突破了传统方法对任务特定微调的依赖，展示了LLM在通用操控中的潜力。

关键设计：在实验中，使用了50次试验的标准协议，Astra模型在语义理解任务上表现优异，但在高精度控制和动态协调任务上仍存在局限性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，GPT-6 Astra在2100次试验中取得22.48%的平均成功率，显著高于GPT-5.5和DeepSeek-Flash的0.88%和1.92%。这一结果展示了Astra在通用操控模型中的潜力，尽管在高精度控制方面仍需改进。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和智能家居等。通过提升机器人在复杂环境中的操控能力，能够实现更高效的任务执行，推动智能机器人技术的实际应用和发展。

📄 摘要（原文）

Embodied AI systems are often organized into System 1 and System 2. System 1 is typically a pretrained policy that generates actions at high frequency, whereas System 2 is often instantiated as a vision-enabled language model for high-level planning. We ask whether a large language model (LLM) can act as the policy for robot manipulation without task-specific finetuning. We call this setting LLM as policy. We evaluate three LLMs on all 42 RoboDojo tasks and compare their scores with 40 public policies. Astra and GPT-5.5 use the official 50-episode-per-task protocol; DeepSeek-Flash uses 10 episodes per task. GPT-6 Astra achieves 22.48% average success rate and 28.97 Score over 2,100 trials, ranking above every public entry. Yet GPT-5.5 and DeepSeek-Flash reach only 0.88% and 1.92% average success rate with the same post-processing. We find that Astra exhibits a sharply polarized capability profile. It generalizes well to tasks that require semantic understanding but not high-precision control. In contrast, it performs poorly on tasks that require precision, dynamic control, or complex bimanual coordination. In-context experiments show no aggregate benefit from one-shot demonstrations, while selected interaction traces show within-episode corrections under perturbations. Overall, the evaluated LLMs vary substantially in manipulation performance. Astra stands out and provides initial evidence for the potential of a general-purpose manipulation model, although reliable precision and dynamic control remain limitations in the evaluated setting.