Self-Augmented Robot Trajectory: Efficient Imitation Learning via Safe Self-augmentation with Demonstrator-annotated Precision

📄 arXiv: 2509.09893v1 📥 PDF

作者: Hanbit Oh, Masaki Murooka, Tomohiro Motoda, Ryoichi Nakajo, Yukiyasu Domae

分类: cs.RO, cs.AI

发布日期: 2025-09-11

备注: Under review

💡 一句话要点

提出SART框架，通过安全自增强轨迹学习单次示教的机器人策略，解决数据效率问题。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 机器人轨迹 数据增强 安全控制 机器人操作

📋 核心要点

  1. 传统模仿学习方法依赖大量人工示教或随机探索，数据收集成本高昂，尤其在安全要求高的任务中。
  2. SART框架通过单次示教和安全自增强，在人工标注的精度边界内生成无碰撞轨迹，高效扩展数据集。
  3. 实验结果表明，SART在模拟和真实机器人操作任务中，显著提升了策略的成功率，优于传统方法。

📝 摘要（中文）

模仿学习是训练机器人智能体的有效范式。然而，标准方法通常需要大量数据（通过多次演示或随机探索）以确保可靠性能。虽然探索减少了人工干预，但缺乏安全保证，并经常导致碰撞，尤其是在间隙受限的任务（如插孔）中，从而需要手动重置环境并增加人工负担。本研究提出了自增强机器人轨迹（SART）框架，该框架能够从单次人工演示中学习策略，同时通过自主增强安全地扩展数据集。SART包括两个阶段：（1）仅一次人工示教，提供单次演示并标注精度边界（表示为关键路径点周围的球体），然后重置一次环境；（2）机器人自增强，机器人在这些边界内生成多样且无碰撞的轨迹，并重新连接到原始演示。这种设计通过最小化人工干预来提高数据收集效率，同时确保安全。在模拟和真实操作任务中的大量评估表明，SART实现了比仅在人工收集的演示上训练的策略更高的成功率。

🔬 方法详解

问题定义：现有模仿学习方法在机器人任务中，尤其是间隙受限任务（如插孔），需要大量人工示教或随机探索，导致数据收集成本高、安全性难以保证。随机探索容易发生碰撞，需要频繁的人工干预重置环境，增加了人工负担。因此，如何在少量人工示教下，高效、安全地学习机器人策略是一个关键问题。

核心思路：SART的核心思路是利用单次人工示教作为策略学习的起点，然后通过机器人自主生成轨迹来扩充数据集。为了保证安全性，SART引入了精度边界的概念，即在关键路径点周围定义一个安全区域，机器人只能在这些区域内生成轨迹。这样既能保证轨迹的多样性，又能避免碰撞。

技术框架：SART框架包含两个主要阶段：1) 人工示教阶段：人工提供一次演示，并标注关键路径点周围的精度边界（球体）。环境重置一次。2) 机器人自增强阶段：机器人在精度边界内生成多样且无碰撞的轨迹，并将这些轨迹重新连接到原始演示轨迹。通过这种方式，可以安全地扩展数据集，提高策略学习的效率。

关键创新：SART的关键创新在于提出了基于精度边界的安全自增强方法。与传统的随机探索方法相比，SART能够保证轨迹的安全性，避免碰撞。与传统的模仿学习方法相比，SART只需要单次人工示教，大大降低了数据收集成本。

关键设计：精度边界的半径大小是一个关键参数，它决定了轨迹的多样性和安全性。如果半径过大，可能导致碰撞；如果半径过小，则轨迹的多样性不足。论文中可能采用了启发式方法或学习方法来确定精度边界的半径。此外，如何生成无碰撞轨迹也是一个关键问题，可能使用了运动规划算法或强化学习方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SART在模拟和真实机器人操作任务中都取得了显著的性能提升。与仅使用人工示教数据训练的策略相比，SART能够大幅提高任务的成功率。具体的数据提升幅度未知，但摘要中强调了“substantially higher success rates”，表明提升效果显著。实验结果验证了SART框架的有效性和优越性。

🎯 应用场景

SART框架可应用于各种需要高精度和安全性的机器人操作任务，例如精密装配、医疗手术、以及在狭窄空间内的操作。该方法能够显著减少人工示教的需求，降低数据收集成本，并提高机器人的自主性和安全性，具有广泛的应用前景。

📄 摘要（原文）

Imitation learning is a promising paradigm for training robot agents; however, standard approaches typically require substantial data acquisition -- via numerous demonstrations or random exploration -- to ensure reliable performance. Although exploration reduces human effort, it lacks safety guarantees and often results in frequent collisions -- particularly in clearance-limited tasks (e.g., peg-in-hole) -- thereby, necessitating manual environmental resets and imposing additional human burden. This study proposes Self-Augmented Robot Trajectory (SART), a framework that enables policy learning from a single human demonstration, while safely expanding the dataset through autonomous augmentation. SART consists of two stages: (1) human teaching only once, where a single demonstration is provided and precision boundaries -- represented as spheres around key waypoints -- are annotated, followed by one environment reset; (2) robot self-augmentation, where the robot generates diverse, collision-free trajectories within these boundaries and reconnects to the original demonstration. This design improves the data collection efficiency by minimizing human effort while ensuring safety. Extensive evaluations in simulation and real-world manipulation tasks show that SART achieves substantially higher success rates than policies trained solely on human-collected demonstrations. Video results available at https://sites.google.com/view/sart-il .