Generalizing Manipulation Skills with a Local Coding Agent
作者: Raman Talwar, Elias Nijs, Andreas Verleysen, Francis wyffels
分类: cs.RO
发布日期: 2026-09-22
备注: 8 pages, 4 figures, 5 tables. Raman Talwar and Elias Nijs contributed equally
💡 一句话要点
提出本地编码代理以解决机器人任务泛化问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人控制 任务泛化 视觉-语言模型 自我改进 开放权重模型 儿童玩具 实验验证
📋 核心要点
- 现有的语言驱动机器人在新任务泛化上面临高工程成本和数据收集的挑战。
- 本文提出使用本地开放权重视觉-语言模型控制机器人，实现对新任务的一次性泛化。
- 实验结果显示，在45次试验中有30次成功泛化，且重复任务时时间缩短50%，显示出自我改进能力。
📝 摘要（中文）
随着开放权重语言模型的进步，现有的语言驱动机器人通常依赖固定的动作接口或训练好的策略，导致在新任务上的泛化需要更多的工程工作或数据收集。本文研究了本地开放权重视觉-语言模型（VLM）是否能够控制机器人并在不需要新的人类编程或训练的情况下对新任务进行一次性泛化。我们使用Qwen3.8-27B模型驱动UR3e机械臂，进行了一系列基于儿童玩具的任务测试，结果显示在45次试验中有30次成功泛化，并且在任务重复时表现出50%的时间缩短，表明系统具有自我改进能力。最后，论文指出了本地编码代理的局限性，并认为解决这些问题将有助于其在现实世界中的部署。
🔬 方法详解
问题定义：本文旨在解决现有语言驱动机器人在新任务泛化时的高工程成本和数据需求问题。现有方法通常依赖固定的动作接口或训练好的策略，限制了其灵活性和适应性。
核心思路：论文提出利用本地开放权重视觉-语言模型（VLM）来控制机器人，使其能够在不需要额外人类编程或训练的情况下对新任务进行一次性泛化。通过让模型编写和执行自己的代码，系统能够灵活应对不同的任务变体。
技术框架：整体架构包括一个本地开放权重VLM（Qwen3.8-27B）和UR3e机械臂。模型通过编码代理的方式，编写并运行代码，服务于运动学、安全限制和经典计算机视觉技术。
关键创新：最重要的创新点在于实现了机器人在新任务上的一次性泛化能力，显著减少了对人类干预的依赖。这一方法与传统的固定策略方法有本质区别，后者通常需要大量的工程调整和数据收集。
关键设计：在实验中，模型的参数设置和损失函数设计经过精心调整，以确保其在不同任务中的适应性和泛化能力。具体细节包括对运动学和视觉处理的集成，以及对任务特征（如颜色、大小、形状）的适应性设计。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在45次试验中，模型成功泛化了30次，表现出良好的适应性。此外，重复任务时，执行时间平均缩短了50%，表明系统具有自我改进的能力，这为未来的机器人应用提供了重要的实验依据。
🎯 应用场景
该研究的潜在应用领域包括智能制造、服务机器人和教育机器人等。通过实现机器人在新任务上的快速适应能力，能够显著提升机器人在动态环境中的应用价值，推动其在实际场景中的广泛部署和使用。
📄 摘要（原文）
Today, progress in open-weight language models enables systems capable of writing, executing and debugging code while still running on a single workstation. Most language-driven robots give the model a fixed action interface or a trained policy. Generalizing to a new task therefore means more engineering effort or more data collection, both time-consuming. We investigate whether a local open-weight vision-language model can control a robot and one-shot generalize to new variations of a task without new human programming or training. We let a local open-weight VLM, Qwen3.8-27B, drive a UR3e robotic arm from a coding-agent harness. It writes and runs its own code above a service that implements kinematics, safety limits and classic computer vision techniques. We investigate if this system is capable of generalizing to unseen tasks. Specifically, we test it on nine tasks built from children's toys designed to probe generalization capability across various object characteristics: color, size, shape, and task variation of those. With five trials for each task, we observe generalization in 30 out of 45 trials with durations ranging from 3.4 to 67.5 minutes depending on task complexity. We further test if there is a speedup when an agent is asked to redo the task after successful completion. This resulted in a 50% reduction in duration, indicating that there is self-improvement over time. Finally, we expose the limitations of a local coding agent. We believe that solving those limitations combined with further investigation of self-improvement over time points at a direct path toward real-world deployment of a local coding agent.