Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens

📄 arXiv: 2610.01939v1 📥 PDF

作者: Ruiyang Si, Jianxin Bi, Shunyu Yang, Rui Ni, Wenbo Huang, Qiang Wang, Shulong Jiang, Duomin Wang, Xiuyu Li, Haiwen Feng, Zhen Dong, Daquan Zhou

分类: cs.CV

发布日期: 2026-10-01

💡 一句话要点

提出PyRUA-Lean框架以提升机器人任务成功率并减少令牌使用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 机器人控制 反馈驱动 原语组合 选择性观察 任务成功率 资源优化

📋 核心要点

  1. 现有的视觉语言模型在机器人控制中面临重复调用和冗余观察导致的令牌开销问题。
  2. 论文提出的PyRUA-Lean框架通过反馈驱动的原语组合和选择性观察来优化机器人控制过程。
  3. 实验结果显示，PyRUA-Lean在成功率上提升了14%，同时减少了65%的输入令牌使用。

📝 摘要（中文）

视觉语言模型（VLM）代理能够通过视觉反馈和动作原语控制机器人，但重复的模型调用和冗余观察会导致显著的令牌开销。我们提出了PyRUA-Lean，一个交互式代码执行框架，结合了反馈驱动的原语组合与选择性观察：代理将经典机器人原语和学习的视觉-语言-动作（VLA）策略组合成Python单元，执行条件检查和局部重试，仅返回明确请求的图像和状态反馈以进行重新规划。在700个来自LIBERO-PRO、RoboTwin 2.0和RoboCasa365的模拟任务实例中，我们将PyRUA-Lean与使用相同GPT-6 Astra规划器和基础机器人原语的工具调用基线进行了比较。在相同的LLM调用预算下，PyRUA-Lean的整体成功率从63.1%提高到71.7%。在两个代理都解决的实例中，它使用了49%的LLM调用和65%的输入令牌。

🔬 方法详解

问题定义：本论文旨在解决视觉语言模型在机器人控制中因重复调用和冗余观察而导致的令牌开销过大的问题。现有方法在处理复杂任务时效率低下，影响了成功率和资源利用。

核心思路：PyRUA-Lean框架通过将经典机器人原语与学习的视觉-语言-动作策略结合，采用反馈驱动的方式进行原语组合，减少不必要的模型调用和观察，从而提高任务执行效率。

技术框架：该框架的整体架构包括几个主要模块：首先是原语组合模块，负责将不同的机器人原语和策略组合成Python代码；其次是条件检查和局部重试机制，确保在执行过程中根据反馈进行动态调整；最后是选择性观察模块，仅返回必要的状态信息和图像。

关键创新：PyRUA-Lean的核心创新在于其反馈驱动的原语组合与选择性观察的结合，显著减少了模型调用次数和输入令牌数量，与传统方法相比，提升了整体成功率和资源利用效率。

关键设计：在设计中，PyRUA-Lean采用了动态条件检查机制，允许在执行过程中根据实时反馈进行调整。此外，框架的参数设置和网络结构经过优化，以适应不同任务的需求，确保高效的执行和反馈处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PyRUA-Lean在700个模拟任务实例中成功率从63.1%提升至71.7%，同时在相同的LLM调用预算下，减少了49%的LLM调用和65%的输入令牌，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自动化机器人控制、智能家居系统以及工业机器人任务执行等。通过优化机器人与环境的交互，PyRUA-Lean能够在实际应用中提高任务成功率，降低资源消耗，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision language model (VLM) agents can control robots through visual feedback and action primitives, but repeated model invocations and redundant observations incur substantial token overhead. We introduce PyRUA-Lean, an interactive code-execution framework that couples feedback-driven primitive composition with selective observation: the agent composes classical robot primitives and learned vision-language-action (VLA) policies into Python cells that perform conditional checks and local retries, returning only explicitly requested images and state feedback for replanning. Across 700 simulated task instances from LIBERO-PRO, RoboTwin 2.0, and RoboCasa365, we compare PyRUA-Lean with a tool-calling baseline using the same GPT-6 Astra planner and underlying robot primitives. Under equal LLM-call budgets, PyRUA-Lean increases overall success from 63.1% to 71.7%. On instances solved by both agents, it uses 49% fewer LLM calls and 65% fewer input tokens.