OneDemo: Unified Policy Learning and Data Generation from a Single Demonstration

📄 arXiv: 2610.18188v1 📥 PDF

作者: Ying Qian, Jianshu Hu, Han Fang, Shuguang Li, Yutong Ban

分类: cs.RO

发布日期: 2026-10-13

💡 一句话要点

提出OneDemo框架以解决单一示范数据生成与策略学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 示范学习 机器人策略 数据生成 任务适应性

📋 核心要点

  1. 现有方法在收集多样化高质量专家数据时成本高昂，限制了机器人策略学习的有效性。
  2. 本文提出OneDemo框架，通过强化学习编辑单一成功示范，适应新的任务配置，减少了对复杂工程的依赖。
  3. 在多个任务中，OneDemo展示了高达98.4%的成功率，显著提升了示范生成和策略学习的效率。

📝 摘要（中文）

从示范中学习机器人策略通常受到高质量专家数据收集成本的限制。虽然扩展单一成功示范为多样化成功轨迹是一种吸引人的替代方案，但现有的增强方法通常依赖于手动设计的转换规则或复杂的轨迹规划，需大量特定任务的工程和人力。本文提出了OneDemo，一个强化学习框架，旨在编辑单一成功示范以适应新的任务配置。我们将示范编辑形式化为一个结构化的强化学习问题，编辑器从稀疏的任务成功奖励中学习何时在以物体为中心的轨迹段之间过渡，以及如何几何地调整每个段落。学习到的编辑器既作为任务策略，也作为可重用的示范生成器。在15个Meta-World任务中，OneDemo在平均53.7k环境交互中达到了92.7%的成功率，在9个DexMimicGen任务中生成成功示范的平均成功率为98.4%，基于生成数据训练的BC-RNN策略在匹配数据集规模下达到了99.6%的平均成功率。这些结果表明，学习编辑单一成功示范为策略学习和可扩展示范生成提供了结构化和有效的基础。

🔬 方法详解

问题定义：本文旨在解决从单一成功示范中生成多样化成功轨迹的问题。现有方法通常依赖于复杂的手动设计和任务特定的工程，难以实现高效的数据生成和策略学习。

核心思路：OneDemo框架通过将示范编辑视为一个结构化的强化学习问题，允许编辑器从稀疏的任务成功奖励中学习，灵活地调整轨迹段以适应新任务。

技术框架：整体架构包括一个编辑器模块，该模块负责在物体中心轨迹段之间进行过渡，并对每个段进行几何调整。编辑器同时作为任务策略和示范生成器。

关键创新：最重要的创新在于将示范编辑形式化为强化学习问题，使得编辑器能够在缺乏丰富奖励信号的情况下进行有效学习，与传统方法相比，显著降低了对手动设计的依赖。

关键设计：关键设计包括编辑器的奖励机制、轨迹段的选择策略以及几何调整的具体实现，确保编辑器能够在多样化任务中保持高效性和灵活性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在15个Meta-World任务中，OneDemo达到了92.7%的成功率，且在9个DexMimicGen任务中生成的示范成功率高达98.4%。基于生成数据训练的BC-RNN策略在匹配数据集规模下实现了99.6%的成功率，显示出显著的性能提升。

🎯 应用场景

OneDemo框架在机器人学习、自动化任务执行和人机协作等领域具有广泛的应用潜力。通过有效地生成多样化的成功示范，该研究可以降低机器人学习的成本，提高其在复杂环境中的适应能力，推动智能机器人技术的发展。

📄 摘要（原文）

Learning robot policies from demonstrations is often limited by the cost of collecting diverse, high-quality expert data. While an appealing alternative is to expand a single successful demonstration into a diverse set of successful trajectories, existing augmentation methods typically rely on manually designed transformation rules or complex trajectory planning, requiring substantial task-specific engineering and human effort. We introduce OneDemo, a reinforcement learning framework that learns to edit a single successful demonstration for new task configurations. We formulate demonstration editing as a structured reinforcement learning problem, in which an editor learns, from sparse task-success rewards, both when to transition between object-centric trajectory segments and how to geometrically adapt each segment. The learned editor serves both as a task policy and as a reusable demonstration generator. Across 15 Meta-World tasks, OneDemo reaches a 92.7% success rate within 53.7k environment interactions on average. Across 9 DexMimicGen tasks, it generates successful demonstrations with a 98.4% average success rate, and BC-RNN policies trained on the generated data achieve 99.6% average success at matched dataset scale. These results show that learning to edit a single successful demonstration provides a structured and effective basis for both policy learning and scalable demonstration generation.