DexStitch: Learning and Composing Dexterous Skills from Human Videos via Contact-Aware Robotic Inpainting
作者: Byeonggyeol Choi, Seongmin Jung, Unghui Nam, Youngbo Song, Sunhong Min, MinHyung Lee, Byonghyo Shim, Yongseok Lee
分类: cs.RO, cs.CV
发布日期: 2026-10-13
备注: 9 pages
💡 一句话要点
提出DexStitch以解决机器人技能学习中的视频转移问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion)
关键词: 长视频理解 技能学习 机器人操作 人类视频转移 灵巧手重定向 技能缝合 数据转换
📋 核心要点
- 现有方法在机器人技能学习中面临高成本的监督数据收集问题，尤其是长时间操作任务的技能和过渡。
- DexStitch框架通过将人类视频切割为技能和过渡，并转换为机器人兼容的数据，解决了技能学习中的视频转移问题。
- 在实验中，DexStitch在四个家庭技能上实现了80.0%的单技能成功率和77.5%的序列成功率，显示出显著的性能提升。
📝 摘要（中文）
长时间的操作任务由基本技能及其连接过渡组成。学习可顺序执行的技能需要对这两者进行监督，而在机器人上收集这些监督数据的成本较高。人类视频提供了可扩展的演示来源，但将其转移到机器人上需要提取与机器人兼容的观察和动作，以及它们的技能结构。本文提出DexStitch框架，将长时间的人类视频切割为技能和过渡，转换为对齐的机器人观察-动作-技能数据，并将学习到的技能缝合成请求的序列。技能分类器首先将视频分割为操作技能和过渡。DexStitch随后将人类演示转换为机器人观察和动作，同时保留相应的技能标签。通过每个手指的人物接触引导灵巧手的重定向和机器人修补，保持接触几何形状和手指-物体遮挡顺序。在将学习到的技能缝合成序列时，共享的技能条件策略在合成数据上进行预训练，并在合成数据和少量单技能遥操作集的混合上进行微调。在持出会话中，分类器与手动注释的同意率为92.4%。在四个家庭技能中，DexStitch实现了80.0%的单技能成功率和77.5%的序列成功率。
🔬 方法详解
问题定义：本文旨在解决机器人在长时间操作任务中技能学习的挑战，尤其是如何有效利用人类视频作为演示来源，同时克服高成本的监督数据收集问题。
核心思路：DexStitch框架的核心思路是将长时间的人类视频切割为基本技能和过渡，并将其转换为机器人可以理解的观察和动作数据，从而实现技能的有效学习和应用。
技术框架：DexStitch的整体架构包括技能分类器、数据转换模块和技能缝合策略。首先，技能分类器将视频分割为技能和过渡；然后，转换模块将人类演示转换为机器人观察和动作；最后，技能缝合策略将学习到的技能按请求顺序组合。
关键创新：DexStitch的主要创新在于利用每个手指的人物接触信息进行灵巧手的重定向和机器人修补，保持接触几何形状和手指-物体遮挡顺序，这在现有方法中尚未实现。
关键设计：在设计中，DexStitch使用了共享的技能条件策略进行预训练，并在合成数据和少量单技能遥操作集的混合上进行微调，以提高技能的学习效果和应用性能。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在实验中，DexStitch在四个家庭技能上实现了80.0%的单技能成功率和77.5%的序列成功率，且分类器与手动注释的同意率高达92.4%。这些结果表明，DexStitch在技能学习和应用方面具有显著的性能提升，优于现有方法。
🎯 应用场景
DexStitch的研究成果在家庭机器人、服务机器人等领域具有广泛的应用潜力。通过有效学习和执行复杂的操作技能，机器人能够更好地完成日常任务，提高人机交互的效率和质量。未来，该方法还可能扩展到其他领域，如工业自动化和医疗辅助等。
📄 摘要（原文）
A long-horizon manipulation task consists of primitive skills and the transitions connecting them. Learning skills that can be executed in sequence requires supervision for both, which is costly to collect on a robot. Human videos offer a scalable source of demonstrations, but transferring them to robots requires extracting robot-compatible observations and actions together with their skill structure. We present DexStitch, a framework that cuts long-horizon human videos into skills and transitions, converts them into aligned robot observation-action-skill data, and stitches the learned skills into a requested sequence. A skill classifier first segments the videos into manipulation skills and transitions. DexStitch then converts the human demonstrations into robot observations and actions while retaining their corresponding skill labels. During conversion, per-finger human-object contacts guide dexterous hand retargeting and robotic inpainting, preserving contact geometry and finger-object occlusion ordering. To stitch the learned skills into a sequence, a shared skill-conditioned policy is pretrained on the resulting synthetic data and finetuned on a mixture of synthetic data and a small set of single-skill teleoperation episodes. Conditioning on the current and next skills guides each transition toward the following skill, while predicted skill progression enables closed-loop switching. On a held-out session, the classifier agrees with manual annotations on 92.4% of frames. Across four household skills, DexStitch achieves 80.0% single-skill success and 77.5% sequence success.