DROM: A Language-Guided Diffusion Framework for Multi-Skill Robotic Manipulation

📄 arXiv: 2609.37348v1 📥 PDF

作者: Vincenzo Pomponi, Rocco Felici, Paolo Franceschi, Stefano Baraldo, Oliver Avram, Loris Roveda, Luca Maria Gambardella, Anna Valente

分类: cs.RO

发布日期: 2026-09-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出DROM框架以解决多技能机器人操作中的数据不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多技能操作 语言引导 扩散框架 动态运动原型 机器人学习 自然语言处理 长时间任务执行

📋 核心要点

  1. 现有方法在多技能机器人操作中面临数据收集不足和空间泛化能力差的问题。
  2. DROM框架通过语言引导和动态运动原型的结合，增强了操作技能的学习和组合能力。
  3. 实验结果显示DROM在多技能泛化和长时间操作任务执行上显著优于传统方法。

📝 摘要（中文）

学习从有限示范中获得稳健的操作策略是机器人技术中的一大挑战。本文提出DROM，一个语言引导的扩散框架，使机器人能够在单一生成策略中学习、表示和组合多种操作技能。DROM利用动态运动原型（DMP）将少量专家示范扩展为丰富的多技能数据集，显著减少数据收集并提高空间泛化能力。基于运动规划扩散（MPD），我们扩展了扩散架构，通过交叉注意力支持语言条件的多技能轨迹生成，使单一模型能够为多种操作原语生成一致的动作。实验结果表明，DROM在多种操作任务中优于现有基线，能够从自然语言指令中可靠执行长时间操作任务。

🔬 方法详解

问题定义：本文旨在解决机器人在多技能操作中因示范数据不足而导致的学习困难，现有方法往往无法有效泛化到未见过的任务场景。

核心思路：DROM框架通过语言引导和动态运动原型（DMP）相结合，增强了机器人对多种操作技能的学习能力，允许机器人在有限示范下生成多样化的操作轨迹。

技术框架：DROM的整体架构包括数据增强模块、语言条件生成模块和多技能组合模块。数据增强模块利用DMP扩展示范数据，语言条件生成模块通过交叉注意力机制生成技能一致的轨迹，最后通过组合模块实现长时间操作任务的执行。

关键创新：DROM的主要创新在于将语言引导与扩散模型结合，允许机器人在生成多技能轨迹时考虑自然语言指令，从而实现更高的灵活性和适应性。

关键设计：DROM采用了特定的损失函数来平衡生成轨迹的准确性和多样性，同时在网络结构中引入了交叉注意力机制，以增强模型对语言信息的理解和处理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DROM在多技能泛化方面优于运动规划扩散（MPD）和行为克隆基线，能够在仅使用有限人类示范的情况下，从自然语言指令中可靠地执行长时间操作任务，展示出显著的性能提升。

🎯 应用场景

DROM框架在多种机器人操作任务中具有广泛的应用潜力，包括工业自动化、服务机器人和家庭助理等领域。其能够通过自然语言指令进行操作，提升了人机交互的自然性和效率，未来可能在智能制造和智能家居等场景中发挥重要作用。

📄 摘要（原文）

Learning robust manipulation policies for diverse, long-horizon tasks from limited demonstrations remains a fundamental challenge in robotics. We present DROM, a language-guided diffusion framework that enables robots to learn, represent, and compose multiple manipulation skills within a single generative policy. DROM leverages Dynamic Movement Primitives (DMPs) to augment a small set of expert demonstrations into expressive multi-skill datasets, substantially reducing data collection while improving spatial generalization beyond the demonstrated workspace. Building upon Motion Planning Diffusion (MPD), we extend the diffusion architecture to support language-conditioned multi-skill trajectory generation through cross-attention, allowing a single model to generate skill-consistent motions for a diverse set of manipulation primitives, including orientation-sensitive behaviors that are difficult to design using conventional motion planning or hard-coded controllers. For long-horizon manipulation, a large language model decomposes high-level operator requests into executable sequences of skills, enabling natural language interaction and autonomous task execution. We validate DROM on a Franka Emika Panda robot, a FANUC CRX25ia robot, and in MuJoCo simulation across a wide range of manipulation tasks. Experimental results demonstrate that DROM outperforms Motion Planning Diffusion and Behavior Cloning baselines, achieves robust multi-skill generalization, and composes learned skills to reliably execute long-horizon manipulation tasks from natural language instructions using only a limited number of human demonstrations. Datasets, simulation environments, and more at https://github.com/automation-robotics-machines/drom.