Cross-Modal Instructions for Robot Motion Generation

📄 arXiv: 2509.21107v1 📥 PDF

作者: William Barron, Xiaoxiang Dong, Matthew Johnson-Roberson, Weiming Zhi

分类: cs.RO, cs.AI, cs.CV, cs.LG

发布日期: 2025-09-25

💡 一句话要点

提出CrossInstruct框架，利用跨模态指令生成机器人运动轨迹

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 机器人运动生成 跨模态学习 视觉-语言模型 强化学习 机器人控制

📋 核心要点

  1. 传统机器人行为学习依赖于耗时的数据采集，如遥操作或物理引导，难以扩展。
  2. CrossInstruct框架利用跨模态指令（文本标签等）作为运动演示，降低了数据收集的难度。
  3. 实验表明，CrossInstruct能生成可泛化的机器人行为，并为强化学习提供有效的初始化。

📝 摘要（中文）

本论文提出了一种新的机器人行为学习范式：从跨模态指令中学习。该方法利用粗略的标注（包含自由文本标签）作为运动演示，替代传统的遥操作或物理引导。论文提出了CrossInstruct框架，将跨模态指令作为上下文输入到基础视觉-语言模型(VLM)中。VLM迭代查询一个较小的、微调后的模型，并合成多个2D视图上的期望运动。这些视图随后被融合为机器人工作空间中3D运动轨迹的连贯分布。通过结合大型VLM的推理能力和精细的指向模型，CrossInstruct生成可执行的机器人行为，这些行为可以泛化到有限指令示例的环境之外。论文还引入了一个下游强化学习流程，利用CrossInstruct的输出来高效地学习完成精细任务的策略。在基准仿真任务和真实硬件上的实验评估表明，CrossInstruct无需额外微调即可有效工作，并为后续通过强化学习改进的策略提供了强大的初始化。

🔬 方法详解

问题定义：现有机器人行为学习方法主要依赖于人工示教，例如遥操作或物理引导。这些方法数据采集成本高昂，难以扩展到复杂的任务和环境。此外，如何利用自然语言等跨模态信息来指导机器人运动也是一个挑战。

核心思路：论文的核心思路是利用视觉-语言模型（VLM）的强大推理能力，将粗略的跨模态指令（例如文本描述）转化为机器人可以理解的运动轨迹。通过将指令作为上下文信息输入VLM，并结合一个精细的指向模型，可以生成更具泛化能力的机器人行为。

技术框架：CrossInstruct框架包含以下几个主要模块：1) 跨模态指令编码器：将文本标签等跨模态指令编码为向量表示。2) 视觉-语言模型（VLM）：接收编码后的指令和当前环境的视觉信息，推理出期望的运动轨迹。3) 指向模型：一个小型、微调后的模型，用于精确定位目标物体，辅助VLM生成更准确的运动轨迹。4) 运动轨迹融合模块：将多个2D视图上的运动轨迹融合为3D空间中的连贯分布。5) 强化学习模块：利用CrossInstruct生成的轨迹作为初始化，通过强化学习进一步优化策略。

关键创新：该方法最重要的创新在于利用大型视觉-语言模型来理解跨模态指令，并将其转化为机器人运动。与传统的基于示教的方法相比，CrossInstruct降低了数据采集的难度，并提高了模型的泛化能力。此外，通过结合VLM和精细的指向模型，可以生成更准确、更可控的机器人行为。

关键设计：VLM的选择至关重要，需要选择具有强大推理能力和泛化能力的模型。指向模型的训练需要大量的标注数据，可以使用合成数据或人工标注数据。运动轨迹融合模块的设计需要考虑不同视图之间的几何关系，可以使用卡尔曼滤波等方法。强化学习模块的奖励函数设计需要与任务目标相匹配。

📊 实验亮点

CrossInstruct在仿真和真实机器人实验中都取得了显著成果。在仿真环境中，CrossInstruct能够成功完成各种操作任务，例如抓取、放置和移动物体。在真实机器人实验中，CrossInstruct无需额外微调即可生成可执行的机器人行为，并为后续通过强化学习改进的策略提供了强大的初始化。实验结果表明，CrossInstruct具有良好的泛化能力和鲁棒性。

🎯 应用场景

该研究成果可应用于各种机器人自动化场景，例如：家庭服务机器人可以根据用户的语音指令完成家务；工业机器人可以根据文本描述执行装配任务；医疗机器人可以根据医生的指示进行手术操作。该方法降低了机器人编程的门槛，使非专业人员也能轻松地控制机器人。

📄 摘要（原文）

Teaching robots novel behaviors typically requires motion demonstrations via teleoperation or kinaesthetic teaching, that is, physically guiding the robot. While recent work has explored using human sketches to specify desired behaviors, data collection remains cumbersome, and demonstration datasets are difficult to scale. In this paper, we introduce an alternative paradigm, Learning from Cross-Modal Instructions, where robots are shaped by demonstrations in the form of rough annotations, which can contain free-form text labels, and are used in lieu of physical motion. We introduce the CrossInstruct framework, which integrates cross-modal instructions as examples into the context input to a foundational vision-language model (VLM). The VLM then iteratively queries a smaller, fine-tuned model, and synthesizes the desired motion over multiple 2D views. These are then subsequently fused into a coherent distribution over 3D motion trajectories in the robot's workspace. By incorporating the reasoning of the large VLM with a fine-grained pointing model, CrossInstruct produces executable robot behaviors that generalize beyond the environment of in the limited set of instruction examples. We then introduce a downstream reinforcement learning pipeline that leverages CrossInstruct outputs to efficiently learn policies to complete fine-grained tasks. We rigorously evaluate CrossInstruct on benchmark simulation tasks and real hardware, demonstrating effectiveness without additional fine-tuning and providing a strong initialization for policies subsequently refined via reinforcement learning.