Sequentially Teaching Sequential Tasks $(ST)^2$: Teaching Robots Long-horizon Manipulation Skills
作者: Zlatan Ajanović, Ravi Prakash, Leandro de Souza Rosa, Jens Kober
分类: cs.RO
发布日期: 2025-10-23 (更新: 2026-01-20)
备注: Accepted for publication in IEEE Robotics and Automation Magazine
💡 一句话要点
提出(ST)^2：通过序列化教学提升机器人长时程操作技能
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 模仿学习 机器人操作 长时程任务 序列化教学 人机交互
📋 核心要点
- 长时程机器人任务学习面临偏差累积、分布偏移和教师疲劳等挑战，导致学习效果不佳。
- 论文提出(ST)^2方法，通过序列化分解任务和关键点引导，实现结构化和增量式的机器人教学。
- 用户研究表明，序列化教学方法在大多数情况下优于整体教学方法，提升了任务完成度和用户体验。
📝 摘要（中文）
模仿学习已被证明在以高样本效率教导机器人复杂技能方面非常有用。然而，教导具有多种技能的长时程任务具有挑战性，因为偏差容易累积，分布偏移变得更加明显，并且人类教师随着时间的推移会感到疲劳，从而增加失败的可能性。为了应对这些挑战，我们引入了(ST)^2，这是一种用于学习长时程操作任务的序列化方法，它允许用户通过指定关键点来控制教学流程，从而实现结构化和增量式的演示。我们使用这个框架，研究了用户如何响应两种教学范式：（i）传统的整体方法，用户一次性演示整个任务轨迹，以及（ii）序列化方法，任务被分割并逐步演示。我们对16名参与者在真实的零售商店环境中进行了补货任务的广泛用户研究，评估了用户偏好和方法的有效性。用户层面的分析表明，在大多数情况下（10名用户），序列化方法优于整体方法（5名用户），有1名用户打成平手。我们的主观结果表明，一些教师更喜欢序列化教学——因为它允许他们迭代地教授复杂的任务——而另一些教师则更喜欢一次性教学，因为它很简单。
🔬 方法详解
问题定义：现有模仿学习方法在处理长时程机器人操作任务时，由于任务复杂度和时间跨度大，容易出现偏差累积和分布偏移问题。此外，人类教师在长时间演示中容易疲劳，导致演示质量下降，进一步影响学习效果。因此，如何有效地利用人类知识，指导机器人学习长时程复杂任务是一个关键问题。
核心思路：(ST)^2的核心思路是将长时程任务分解为一系列子任务，并允许用户通过指定关键点来引导机器人学习。这种序列化教学方法可以减少每次演示的复杂性，降低偏差累积的风险，并减轻教师的认知负担。通过逐步学习和迭代优化，机器人可以更好地掌握长时程任务的技能。
技术框架：(ST)^2框架主要包含以下几个阶段：1) 任务分解：将长时程任务分解为一系列具有明确目标和关键点的子任务。2) 序列化演示：人类教师按照子任务的顺序，逐步演示每个子任务的关键动作。3) 模仿学习：机器人利用人类演示数据，学习每个子任务的策略。4) 策略集成：将各个子任务的策略集成起来，形成完整的长时程任务策略。5) 迭代优化：通过不断收集新的演示数据和优化策略，提高机器人的任务完成度和鲁棒性。
关键创新：(ST)^2的关键创新在于其序列化教学范式，它允许用户以结构化和增量式的方式指导机器人学习长时程任务。与传统的整体教学方法相比，(ST)^2能够更好地利用人类知识，降低学习难度，并提高学习效率。此外，(ST)^2还引入了关键点引导机制，帮助机器人更好地理解任务目标和约束。
关键设计：(ST)^2的关键设计包括：1) 子任务分解策略：如何将长时程任务分解为合适的子任务，需要考虑任务的结构、目标和约束。2) 关键点选择策略：如何选择具有代表性的关键点，需要考虑任务的状态空间和动作空间。3) 模仿学习算法：选择合适的模仿学习算法，例如行为克隆、动态时间规整等，学习每个子任务的策略。4) 策略集成方法：如何将各个子任务的策略集成起来，需要考虑任务的连续性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在零售商店的商品补货任务中，序列化教学方法(ST)^2在大多数用户（10/16）中表现优于传统的整体教学方法。用户层面的分析显示，序列化教学能够显著提高任务完成度和用户满意度。主观评价也表明，部分用户更喜欢序列化教学，因为它允许他们迭代地教授复杂的任务。
🎯 应用场景
该研究成果可应用于各种需要机器人执行长时程操作任务的场景，例如：零售商店的商品补货、仓库的货物分拣、家庭服务机器人的家务整理等。通过序列化教学，可以降低机器人学习复杂任务的难度，提高机器人的智能化水平，从而更好地服务于人类社会。
📄 摘要（原文）
Learning from demonstration has proved itself useful for teaching robots complex skills with high sample efficiency. However, teaching long-horizon tasks with multiple skills is challenging as deviations tend to accumulate, the distributional shift becomes more evident, and human teachers become fatigued over time, thereby increasing the likelihood of failure. To address these challenges, we introduce $(ST)^2$, a sequential method for learning long-horizon manipulation tasks that allows users to control the teaching flow by specifying key points, enabling structured and incremental demonstrations. Using this framework, we study how users respond to two teaching paradigms: (i) a traditional monolithic approach, in which users demonstrate the entire task trajectory at once, and (ii) a sequential approach, in which the task is segmented and demonstrated step by step. We conducted an extensive user study on the restocking task with $16$ participants in a realistic retail store environment, evaluating the user preferences and effectiveness of the methods. User-level analysis showed superior performance for the sequential approach in most cases (10 users), compared with the monolithic approach (5 users), with one tie. Our subjective results indicate that some teachers prefer sequential teaching -- as it allows them to teach complicated tasks iteratively -- or others prefer teaching in one go due to its simplicity.