PanTact: Teaching Whole-Body Dexterity with a Wearable Contact Interface
作者: Xiaomeng Xu, Han Zhang, Zhian Ruan, Xiaofeng Guo, Jinkun Cao, Ruihan Yang, Carmelo Sferrazza, Shuran Song, Guanya Shi
分类: cs.RO
发布日期: 2026-10-08
💡 一句话要点
提出PanTact以解决人形机器人全身灵巧性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting)
关键词: 人形机器人 全身灵巧性 运动操控 可穿戴接口 接触感知 视觉运动策略 人机协作
📋 核心要点
- 现有的运动操控研究主要集中在手部操作，忽视了其他身体部位的接触，限制了人形机器人的灵活性。
- PanTact系统通过可穿戴接口和视觉运动策略，学习如何利用全身接触进行操控，克服了传统方法的局限。
- 在Unitree G1人形机器人上，PanTact展示了全身灵巧性，成功实现了多种复杂的操控任务，提升了机器人的操作能力。
📝 摘要（中文）
人形机器人具有多个自由度和接触面，但现有的运动操控研究通常仅限于手部操作，忽视了其他身体部位与环境的接触。为了解决这一问题，本文提出了PanTact系统，该系统能够从无机器人的人类示范中学习人形机器人的全身灵巧性，即利用任何适合的身体表面进行操控。PanTact通过可穿戴的无机器人数据收集接口、视觉运动策略和接触感知的全身控制方法，捕捉、学习并执行全身接触。实验表明，PanTact在Unitree G1人形机器人上成功实现了身体支撑、推拉、扫动和负载共享等全身灵巧操作。
🔬 方法详解
问题定义：本文旨在解决人形机器人在操控任务中仅依赖手部的局限性，现有方法未能有效利用身体其他部位的接触能力。
核心思路：PanTact通过学习人类的全身接触示范，利用接触信息作为操控的核心，允许机器人在自身物理约束下选择合适的身体协调方式。
技术框架：PanTact的整体架构包括三个主要模块：1) 可穿戴数据收集接口，记录身体接触位置与状态；2) 视觉运动策略，预测全身接触目标；3) 接触感知的全身控制方法，利用适合的机器人表面实现目标。
关键创新：PanTact的创新在于将接触作为操控信息进行跨体态转移，突破了传统方法的限制，允许机器人在多种接触方式下进行灵活操控。
关键设计：系统设计中，采用了增强的自我中心视觉和双手UMI夹持器，结合模块化接触补丁，确保准确记录接触信息，损失函数和网络结构经过优化以提高预测精度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PanTact在Unitree G1人形机器人上成功实现了多种全身操控任务，包括身体支撑和负载共享，显著提升了机器人的灵活性和适应性，展示了其在复杂环境中的应用潜力。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等。通过提升人形机器人的全身灵巧性，PanTact能够在复杂环境中执行多样化任务，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Humanoid robots have many degrees of freedom and contact surfaces, yet most loco-manipulation research restricts manipulation to the hands and avoids other body contacts with the environment. To extend manipulation beyond the hands, we present PanTact, a system that learns humanoid whole-body dexterity, the capability to manipulate with any suitable body surface, directly from robot-free human demonstrations. Our key idea is to use contact as manipulation-centric information that transfers across embodiments. Contact locations and timing specify the interactions needed to accomplish a task, while the robot chooses how to coordinate its body to realize them within its own physical constraints. Specifically, PanTact captures, learns, and executes whole-body contact via: 1) a wearable, robot-free data collection interface that augments egocentric vision and bimanual UMI grippers with whole-body modular contact patches to record body contact locations and states; 2) a visuomotor policy that mitigates the egocentric observation gap and predicts whole-body contact goals; and 3) contact-aware whole-body control formulations that realize active contact goals using suitable robot surfaces. We deploy PanTact on a Unitree G1 humanoid without additional body contact sensors, demonstrating whole-body dexterity involving body support, pushing, sweeping, and load-sharing. Website: https://pantact.github.io