Whole-Body Dexterity
作者: Conor Mc Gartoll, An Dang, Pranay Thangeda, Arjun Gupta, Carolina Higuera, Nima Fazeli, Mustafa Mukadam, Manikantan Nambi
分类: cs.RO, cs.AI, cs.LG, eess.SY
发布日期: 2026-10-15
备注: 20 pages, 13 figures
💡 一句话要点
提出全身灵巧性框架以解决人形机器人操作局限问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 全身灵巧性 人形机器人 强化学习 物体操作 策略蒸馏 复杂任务 机器人控制
📋 核心要点
- 现有的人形机器人操作方法主要依赖末端执行器，无法实现全身的灵活操作，限制了其在复杂环境中的应用。
- 论文提出全身灵巧性（WBD）框架，通过利用机器人全身作为接触面，结合强化学习实现复杂物体的抓取与操作。
- 实验表明，蒸馏后的控制策略在真实环境中完成90%的操作任务，显著优于直接重定向和通用全身控制器的表现。
📝 摘要（中文）
当前的人形机器人灵巧操作主要局限于末端执行器和简单抓取，无法充分利用全身进行复杂操作。本文提出全身灵巧性（WBD）框架，利用机器人身体和附肢作为接触面进行物体抓取和操作。通过生成可行的全身抓取数据集，训练强化学习专家，并将其蒸馏为单一策略，展示了该策略在真实环境中对篮球和纸箱的有效重新定位能力，完成了复杂的长时间任务。实验结果表明，该控制器在实际操作中完成了90%的试验，显著优于其他基线方法。
🔬 方法详解
问题定义：本文旨在解决人形机器人在复杂物体操作中的局限性，现有方法多依赖于末端执行器，无法充分利用全身进行灵活操作。
核心思路：提出全身灵巧性（WBD）框架，利用机器人身体和附肢作为接触面，结合强化学习实现复杂物体的抓取与操作。通过生成可行的全身抓取数据集，训练强化学习专家，并将其蒸馏为单一策略。
技术框架：整体架构包括数据集生成、强化学习训练和策略蒸馏三个主要模块。首先生成可行的全身抓取数据集，然后训练多个强化学习专家，最后将这些专家的知识蒸馏为一个单一的控制策略。
关键创新：最重要的创新在于将机器人全身作为接触面进行物体操作，突破了传统方法的局限，显著提升了灵巧操作的能力。
关键设计：在训练过程中，采用了自我感知和物体几何信息来优化策略，损失函数设计上考虑了抓取成功率和操作效率等多重因素。
🖼️ 关键图片
📊 实验亮点
实验结果显示，蒸馏后的控制策略在真实环境中完成了90%的操作任务，而直接重定向方法仅完成18%，通用全身控制器的完成率更低，仅为4%。这一显著提升表明了全身灵巧性框架在复杂操作中的有效性。
🎯 应用场景
该研究的潜在应用领域包括仓储物流、家庭服务机器人以及救援机器人等。通过实现全身灵巧性，机器人能够在复杂环境中更有效地进行物体操作，提升其在实际应用中的价值和效率。未来，该技术有望推动人形机器人在更多场景中的应用，提升其自主性和灵活性。
📄 摘要（原文）
Current humanoid dexterous manipulation remains largely confined to end-effectors and simple grasps, falling short of humans' ability to engage the entire body by bracing and sliding bulky objects against the arms and torso. We introduce Whole-Body Dexterity (WBD), a general framework that uses the robot's body and appendages as contact surfaces to grasp and manipulate objects. Our sim-to-real pipeline first generates a dataset of feasible whole-body grasps, then trains reinforcement-learning experts on a general any-to-any repositioning objective by sampling initial and goal grasps from the dataset, and distills these experts into a single policy that uses proprioception and object geometry. We show that the distilled policy transfers zero-shot to a real Unitree G1, where it repositions a basketball and a cardboard box to regions around the torso and completes a long-horizon task that stows a box under one arm, carries it from a shelf to a table, and places it. The controller operates interactively, steered by coarse motion references from a human teleoperator. Across real-world whole-body manipulation tasks, the distilled controller completes 90% of trials, compared with 18% for direct retargeting and 4% for a generalist whole-body controller.