Instruction-Conditioned Motion Control for Robotic Arms: Language-to-Code Decomposition and Reinforcement Learning
作者: Fan Huang, Dezhong Tong, Changyu Chen, Haewoon Kwak, Jisun An
分类: cs.RO, cs.AI
发布日期: 2026-10-14
💡 一句话要点
提出指令条件下的运动控制方法以解决机器人臂控制问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人控制 运动控制 语言理解 强化学习 任务评估 MuJoCo UR5e 指令生成
📋 核心要点
- 现有的机器人控制方法在处理语言驱动的任务时，往往缺乏可追溯性和灵活性，难以有效应对复杂指令。
- 论文提出了一种指令条件下的运动控制框架，通过分离参数规范、指令生成和代码合成，提升了机器人控制的可解释性和执行效果。
- 实验结果表明，经过训练，正奖励率显著提升，且引入的独立评估协议增强了任务成功评估的可靠性。
📝 摘要（中文）
指令条件下的运动控制（ICMC）将参数规范、指令生成和代码合成分离，以实现语言驱动的机器人控制，使执行结果可追溯至指令和程序。本文在MuJoCo环境中对UR5e机械臂进行立方体抓取和字母重塑任务的实验，比较了一次性生成与ICMC的效果。通过冻结的代码生成器，利用GRPO训练开放权重的指令策略，结果显示正奖励率从31.6%提升至35.3%。此外，论文引入独立评估协议，确保任务完成情况与固定规范相符，从而支持可重复的评估。
🔬 方法详解
问题定义：本文旨在解决现有机器人控制方法在处理语言指令时的可追溯性和灵活性不足的问题。现有方法往往将指令生成与代码执行混合，导致难以分析执行结果与指令之间的关系。
核心思路：论文提出的ICMC框架通过分离参数规范、指令生成和代码合成，使得机器人能够更好地理解和执行复杂的语言指令，从而提高控制的准确性和可追溯性。
技术框架：ICMC框架主要包括三个模块：参数规范模块、指令生成模块和代码合成模块。参数规范模块负责将指令转化为具体的参数，指令生成模块负责生成可执行的指令，而代码合成模块则将这些指令转化为机器人可执行的代码。
关键创新：本研究的关键创新在于引入了独立的评估协议，能够将任务完成情况与固定规范进行对比，从而实现对机器人控制效果的客观评估。这一设计与现有方法的最大区别在于，后者往往依赖于执行结果的主观判断。
关键设计：在实验中，使用了GRPO算法训练开放权重的指令策略，并通过冻结的代码生成器进行优化。关键参数设置包括奖励函数的设计，确保能够有效反映任务的成功与失败。
🖼️ 关键图片
📊 实验亮点
实验结果显示，正奖励率从31.6%提升至35.3%，在训练的前后五步中，成功率显著提高。此外，论文引入的独立评估协议确保了任务完成情况的客观性，为后续研究提供了可靠的评估标准。
🎯 应用场景
该研究的潜在应用领域包括自动化制造、服务机器人和人机交互等场景。通过提升机器人对语言指令的理解能力，能够实现更灵活和高效的任务执行，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Instruction-Conditioned Motion Control (ICMC) separates parameter specification, instruction generation, and code synthesis for language-driven robot control, making execution outcomes traceable to instructions and programs. We compare one-shot generation with ICMC under o1 and o4-mini on cube pick-and-place and letter-reshaping tasks for a UR5e arm in MuJoCo. We then train an open-weight instruction policy by GRPO through a frozen code generator on cube placement onto two- and five-cube letter layouts, averaging the rewards of five programs per instruction. The logged positive-reward rate rose from 31.6% to 35.3% (253/800 to 282/800) between the first and last five training steps. A log audit identifies positive binary labels associated with geometric-failure messages: at least 19 in that run, 18 in the dense-reward run, and 5 in the run with one program per instruction. In one case, all five rewards were 1.0 while the log reports a 0.9515 m miss against a 0.05 m tolerance; the verdict came from the program's own output stream. We distinguish logged reward rates from independently verified task success and report descriptive results for each configuration's single training trajectory. We introduce an independent evaluation protocol that checks task completion against fixed specifications, separating robot control from success assessment to support reproducible evaluation.