HexaShell: A Thin Harness for Exploring the Limits of VLM Agents as Robot Coding Agents

📄 arXiv: 2610.23479v1 📥 PDF

作者: Hongcheng Gao, Alex Zhou, Jay Zhu, Zelin Zheng, Shijia Ge, Xiping Li, Di Wu, Yazhe Wang, Jianshu Zeng, Xuan Shangguan, Yongli Wang, Yexing Wan, Lingyu He, Zhiqi Jia, Sihang Wu, Xiao He

分类: cs.RO

发布日期: 2026-10-16

备注: Code: https://github.com/HexaFuture/HexaShell

🔗 代码/项目: GITHUB

💡 一句话要点

提出HexaShell以探索VLM代理作为机器人编码代理的极限

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉语言模型 机器人控制 编码代理 环境感知 自我学习 工具编写 RoboDojo 三角测量

📋 核心要点

  1. 现有的机器人控制方法在复杂任务中表现不佳，尤其是在编码和调试方面。
  2. HexaShell系统通过将代理命令直接转化为机器人动作，利用视觉信息进行实时反馈和工具编写。
  3. 在42个RoboDojo任务中，HexaShell成功率达到39.7%，在接触和记忆任务中表现出显著差异，推动了机器人编码代理的研究进展。

📝 摘要（中文）

基于视觉语言模型（VLM）的代理在机器人操作排行榜上与学习策略竞争。本文提出的HexaShell系统通过将代理的命令转化为机器人运动，探索编码代理在控制机器人时的极限。该系统利用三台RGB摄像头进行环境感知，并在每次失败后分析日志，修复或编写小程序以应对问题。实验结果显示，HexaShell在42个RoboDojo任务中取得39.7%的成功率，成为新的技术标杆，表明接触是限制性能的关键因素。

🔬 方法详解

问题定义：本文旨在解决现有机器人控制方法在复杂任务中无法有效编码和调试的问题，尤其是在面对失败时的应对能力不足。

核心思路：HexaShell通过将视觉语言模型（VLM）代理的命令直接转化为机器人运动，利用环境感知和实时反馈来修复或编写工具，从而提升机器人在复杂任务中的表现。

技术框架：HexaShell系统由多个模块组成，包括命令解析模块、运动控制模块、环境感知模块和工具编写模块。代理通过三台RGB摄像头获取环境信息，并在每次失败后进行日志分析。

关键创新：HexaShell的主要创新在于其“薄型”设计，代理不仅能控制机器人，还能在失败后进行自我学习和工具编写，显著提升了机器人在复杂任务中的适应能力。

关键设计：系统使用了Codex与GPT-6-Astra进行中等推理努力，工具的构建基于十种布局的种子任务，并在新布局上进行测试，确保了系统的通用性和有效性。工具利用三角测量技术来确定物体位置，增强了环境感知的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HexaShell在42个RoboDojo任务中取得39.7%的成功率，进步分数达到48.0，成为新的技术标杆。接触任务的成功率高达92.5%，而紧密插入任务的成功率仅为8.3%，显示出不同任务类型对代理能力的不同要求。

🎯 应用场景

HexaShell的研究成果在机器人操作、自动化生产、智能家居等领域具有广泛的应用潜力。通过提升机器人在复杂环境中的自适应能力，该系统可用于开发更智能的机器人助手，改善人机交互体验，并推动智能制造的发展。

📄 摘要（原文）

Agents built on vision language models (VLMs) now compete with learned policies on robot manipulation leaderboards. We ask how far a coding agent can go when it controls a robot instead of a computer, and where it stops. Our system, HexaShell, keeps the harness thin: it only turns the agent's commands into robot motion. The agent drives a robot with two arms through one command line. It sees three RGB cameras and knows their calibration. After each failed attempt, the agent reads the log, finds the cause, and writes or fixes small programs called tools. In this way it keeps what it learns as code, as a coding agent does when it fixes a failing test. The tools may use only what the robot observes. They use triangulation to find where objects are, relative to each other and to the gripper. If two cameras see the same point, the point lies where the two camera rays meet. If a point lies on a known plane, such as the table or the top of a block, it lies where its ray meets that plane. When the head camera is not enough, the robot moves a wrist camera to get a second view. We build the tools on only ten layouts of one seed per task, then freeze them and test them on ten new layouts of the same seed. We use Codex with GPT-6-Astra at medium reasoning effort. On all 42 RoboDojo tasks, HexaShell reaches a success rate of 39.7% and a progress score of 48.0, averaged in the same way as the leaderboard. This is a new state of the art on RoboDojo. The limit is contact, not reasoning: pushing reaches 92.5% and memory tasks 65.0%, but tight insertion only 8.3%. When the agent fails, it usually sees the failure but cannot make the motion work. We open source the tools evolved so far at https://github.com/HexaFuture/HexaShell.