Robo-Harness K1: Harnessing Robot-Use Agents via Perception Augmentation

📄 arXiv: 2609.29389v1 📥 PDF

作者: Zexi Li, Yehang Zhang, Wenqian Li, Haojian Huang, Chenxu Wang, Shiyuan Deng, Yangkai Wei, Tianyi Zhang, Binghui Xie, Bohan Zhou, Yifan Chang, Kaiwen Zhou, Ying-Cong Chen, James Cheng, Yinchuan Li

分类: cs.RO

发布日期: 2026-09-24

备注: preprint

💡 一句话要点

提出Robo-Harness K1以增强机器人使用代理的感知能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 机器人操作 感知增强 深度学习 迁移学习 多模态融合 智能机器人 自动化技术

📋 核心要点

  1. 现有的视觉-语言模型在机器人操作中的应用面临高成本和依赖模型能力的问题。
  2. 提出的Robo-Harness K1框架通过感知工具增强机器人使用代理的能力，简化了3D几何信息的获取。
  3. 实验结果显示，结合K1的模型在多个任务上表现优异，准确率显著提升，展示了良好的迁移能力。

📝 摘要（中文）

基础视觉-语言模型（VLMs）能够理解物体、指令和空间关系，但将这一能力转化为机器人操作仍然面临挑战。视觉-语言-动作（VLA）模型需要大量示范，可能会损害预训练理解，而直接使用RGB图像的VLM控制则成本高且依赖于模型能力。本文提出Robo-Harness K1，一个机器人使用代理（RUA）框架，通过感知工具的方式进行操作。该代理查询校准深度、持久视觉锚点、空间测量和抓取假设，从返回的证据中选择通用动作。该接口使3D几何信息可用，而无需改变VLM架构或训练深度编码器。在匹配的LIBERO-PRO任务中，结合K1的Gemini 3.7 Flash达到了77.8%的准确率，超越了仅使用RGB的GPT-6 Astra的61.1%；K1进一步将Astra的准确率提升至88.9%。

🔬 方法详解

问题定义：本文旨在解决将视觉-语言模型应用于机器人操作时的高成本和依赖性问题。现有方法在处理复杂环境和任务时表现不佳，尤其是在缺乏大量示范的情况下。

核心思路：Robo-Harness K1通过将感知作为工具，允许机器人使用代理查询深度信息和空间测量，从而简化了操作流程。这种设计使得3D几何信息的获取变得更加高效和灵活。

技术框架：Robo-Harness K1的整体架构包括多个模块：感知模块用于获取深度和空间信息，决策模块根据查询结果选择合适的动作，执行模块则负责实际的操作执行。

关键创新：K1的主要创新在于其通过感知工具的方式，使得机器人使用代理能够在不改变VLM架构的情况下，直接利用深度信息和空间测量。这一方法显著提升了模型的适应性和效率。

关键设计：在设计中，K1使用了校准深度信息和持久视觉锚点，以确保数据的准确性和稳定性。此外，模型在训练过程中未进行目标微调，展示了良好的迁移能力。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，结合K1的Gemini 3.7 Flash在LIBERO-PRO任务上达到了77.8%的准确率，显著高于GPT-6 Astra的61.1%。K1进一步将Astra的准确率提升至88.9%。此外，K1在RoboTwin任务中表现出色，显示出对视觉和环境扰动的良好适应性。

🎯 应用场景

Robo-Harness K1的研究成果在多个领域具有广泛的应用潜力，包括工业自动化、服务机器人和智能家居等。通过增强机器人对环境的理解能力，该框架可以提高机器人在复杂任务中的表现，推动智能机器人技术的进一步发展。

📄 摘要（原文）

Foundation vision-language models (VLMs) understand objects, instructions, and spatial relations, yet translating this capability into robotic manipulation remains difficult. Vision-language-action (VLA) models require extensive demonstrations and may compromise pretrained understanding, while direct RGB-only VLM control is costly and strongly dependent on model capability. We introduce Robo-Harness K1, a robot-use agent (RUA) framework that exposes perception as tools. The agent queries calibrated depth, persistent visual anchors, spatial measurements, and grasp hypotheses, then selects generic motions from the returned evidence. This interface makes 3D geometry accessible without changing the VLM architecture or training a depth encoder. On matched LIBERO-PRO tasks, Gemini 3.7 Flash with K1 reaches 77.8% accuracy, surpassing GPT-6 Astra's 61.1% with an RGB-only harness; K1 further improves Astra to 88.9%. Without target fine-tuning, Gemini with K1 transfers to three RoboSuite arms and dual-arm RoboTwin tasks. On RoboTwin, it achieves 32.0% on Easy and 28.0% on Hard, showing resilience to visual and environmental perturbations. K1 also produces tool-call traces aligned with next-token training. A Qwen3.5-9B student trained on only 107 teacher episodes reaches 44.2% accuracy on new initial states versus 30.2% for OpenVLA, and 13.9% on held-out task conditions versus 0.0% for OpenVLA. These results suggest that perception-augmented RUAs offer a promising route to sample-efficient, generalizable robotic policies that leverage VLM capabilities through an accessible tool interface.