Weave: Learning Whole-Body Dexterous Loco-Manipulation from Human-Object Interactions
作者: Liu Cao, Xingze Wu, Jingzhi Cui, Botian Xu, Mingzhi Pei, Ruoqu Chen, Mengdi Xu
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-09-15
备注: 10 pages, 5 figures. Project website: https://xiaohu-art.github.io/Weave/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Weave框架以解决人形机器人与物体交互的协调问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 物体交互 全身协调 接触感知 运动补全 深度学习 机器人技术
📋 核心要点
- 现有方法在学习人形机器人与物体的交互时，缺乏有效的接触建立和动态适应能力，导致性能不足。
- Weave框架通过接触感知重定向和运动补全，将人类示范转化为机器人可执行的交互策略，增强了机器人与物体的协调性。
- 在九个物体的实验中，Weave在训练交互上取得了92.5%的成功率，未见序列的成功率也达到了65.0%，显示出良好的泛化能力。
📝 摘要（中文）
学习人形机器人与物体的交互需要协调全身平衡、运动和灵巧的手接触，以控制机器人和物体的运动。人类示范提供了协调交互的实例，但将这些行为转移到人形机器人上需要学习如何在不同的身体形态和动态下建立和维持有效的接触。我们提出了Weave，一个统一的框架，用于从捕获的人类示范中学习全身灵巧的人形机器人与物体的交互。Weave首先通过接触感知重定向和接近运动补全，将捕获的人类-物体交互转换为可执行的机器人-物体参考。其核心是一个接触和几何感知的策略，联合指挥29个身体关节和12个驱动手指关节，适用于多个物体和交互序列。对九个物体的评估显示，训练交互的成功率为92.5%，而在未见过的序列上成功率为65.0%。此外，我们还发布了约9,000个物理执行的轨迹，提供了带有接触注释的机器人-物体轨迹，用于后续的交互策略学习和物理一致的HOI运动生成。
🔬 方法详解
问题定义：本论文旨在解决人形机器人在与物体交互时的协调性问题，现有方法在接触建立和动态适应方面存在不足，导致机器人在复杂环境中的表现不佳。
核心思路：Weave框架的核心思路是通过接触感知重定向和运动补全，将人类的交互示范转化为机器人可执行的策略，从而实现更自然的交互。
技术框架：Weave的整体架构包括三个主要模块：人类示范捕获、接触感知重定向和运动补全。首先捕获人类的交互示范，然后通过重定向技术将其转换为机器人可执行的参考，最后补全接近运动以确保流畅的交互。
关键创新：Weave的关键创新在于其接触和几何感知的策略，能够同时控制29个身体关节和12个手指关节，显著提升了机器人在多物体交互中的灵活性和适应性。
关键设计：在设计中，Weave采用了特定的损失函数来优化接触点的准确性，并使用了深度学习网络结构来处理复杂的交互场景，确保了机器人在执行任务时的物理一致性。
🖼️ 关键图片
📊 实验亮点
Weave框架在九个物体的实验中，训练交互的成功率达92.5%，而在未见过的交互序列中也能实现65.0%的成功率，显示出其良好的泛化能力和适应性，显著优于现有方法。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过提升机器人与物体的交互能力，Weave框架能够在实际应用中实现更高效的任务执行，推动机器人技术的进步与普及。
📄 摘要（原文）
Learning humanoid-object interaction requires coordinating whole-body balance, locomotion, and dexterous hand contact to control both robot and object motion. Human demonstrations provide examples of coordinated interaction, but transferring these behaviors to humanoid robots requires learning how to establish and maintain effective contacts under different embodiments and dynamics. We present Weave, a unified framework for learning whole-body dexterous humanoid-object interaction from captured human demonstrations. Weave first converts captured human-object interactions into executable robot-object references through contact-aware retargeting and approach-motion completion. At its core is a contact- and geometry-aware policy that jointly commands 29 body joints and 12 actuated finger joints across multiple objects and interaction sequences. Evaluation across nine objects yields a 92.5% success rate on trained interactions and, without any additional training, 65.0% on sequences never seen during training. We additionally release ~9,000 physically executed rollouts spanning ~23 hours, providing robot-object trajectories with contact annotations for downstream interaction-policy learning and physically consistent HOI motion generation. Project website: https://xiaohu-art.github.io/Weave/