SkillWeave: Weaving Heterogeneous Demonstrations into Long-Horizon Manipulation Skills
作者: Ryosei Tamura, Xiaoxiang Dong, Uksang Yoo, Yuemin Mao, Romina Mir, Jonathan Francis, Jeffrey Ichnowski
分类: cs.RO
发布日期: 2026-10-08
备注: IROS 2026 Workshop on Haptics and Dexterous Manipulation
💡 一句话要点
提出SkillWeave框架以解决长时间操作技能的演示收集问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长时间操作 灵巧操作 异构演示 物体掩码 策略引导 机器人学习 人机协作
📋 核心要点
- 现有方法在收集支持长时间操作的演示时面临挑战，难以同时满足粗略和精确操作的需求。
- SkillWeave框架通过结合遥操作和动手教学，提出了一种新颖的异构演示方法，解决了视觉不匹配问题。
- 在实验中，SkillWeave实现了27%的平均成功率，动手策略成功率提升至65%，继承者感知的交接效率达到87%。
📝 摘要（中文）
灵巧操作需要大规模的任务进展和精确的接触丰富交互，这使得有效收集支持这两种模式的演示变得具有挑战性。我们提出了SkillWeave，一个异构演示框架，结合了粗略到达和运输的遥操作与精确、接触丰富技能的动手教学。为了解决动手数据收集过程中演示者存在引入的视觉不匹配问题，我们提出了一种基于物体掩码的扩散策略，利用离线物体分割进行训练监督，并在部署时使用轻量级学习的掩码预测器，避免在线分割和图像修复。为了减轻独立训练的子任务策略之间的分布偏移，我们引入了继承者感知的终端引导，选择从前任策略中采样的动作，引导系统朝向继承者演示的初始状态分布支持的状态。SkillWeave在三个真实世界的长时间任务中实现了27%的平均端到端成功率。
🔬 方法详解
问题定义：本论文旨在解决长时间灵巧操作技能的演示收集问题，现有方法难以有效支持粗略和精确操作的需求，导致演示效果不佳。
核心思路：SkillWeave框架结合遥操作和动手教学，通过物体掩码条件的扩散策略和继承者感知的终端引导，解决了演示过程中的视觉不匹配和策略间的分布偏移问题。
技术框架：整体架构包括两个主要模块：遥操作用于粗略任务执行，动手教学用于精确技能训练。通过物体分割和掩码预测器实现视觉信息的处理，确保在部署时的高效性。
关键创新：最重要的技术创新在于提出了物体掩码条件的扩散策略和继承者感知的终端引导，这两者有效地解决了演示中的视觉不匹配和策略间的分布偏移，显著提升了长时间操作的成功率。
关键设计：在技术细节上，采用了离线物体分割进行训练监督，轻量级的掩码预测器用于在线部署，确保了系统的实时性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SkillWeave在三个真实世界的长时间任务中实现了27%的平均端到端成功率，动手策略的成功率提升至65%，而继承者感知的交接效率达到87%，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、自动化装配和人机协作等场景，能够显著提升机器人在复杂环境中的操作能力。未来，SkillWeave框架有望推动智能机器人在实际应用中的普及与发展。
📄 摘要（原文）
Dexterous manipulation requires both large-scale task progression and precise contact-rich interaction, making it challenging to collect demonstrations that effectively support both regimes. We present SkillWeave, a heterogeneous demonstration framework for long-horizon dexterous manipulation that combines teleoperation for coarse reaching and transport with kinesthetic teaching for precise, contact-rich skills. To address the visual mismatch introduced by the demonstrator's presence during kinesthetic data collection, we propose an object-mask-conditioned diffusion policy that uses offline object segmentation for training supervision and a lightweight learned mask predictor at deployment, avoiding online segmentation and image inpainting. To mitigate distribution shift between independently trained sub-task policies, we introduce successor-aware terminal steering, which selects among actions sampled from the predecessor policy to guide the system toward states supported by the successor's demonstrated initial-state distribution. Across three real-world long-horizon tasks, SkillWeave achieves 27% average end-to-end success. Mask-conditioned kinesthetic policies improve dexterous sub-task success to an average of 65%, while successor-aware handoffs achieve an average composition efficiency of 87%. These results show that matching demonstration modality to interaction regime, explicitly addressing kinesthetic visual mismatch, and steering policy handoffs toward successor-supported states substantially improves long-horizon dexterous manipulation. Videos and code are available at skillweave-authors.github.io .