It Takes Two: Learning Interactive Whole-Body Control Between Humanoid Robots
作者: Zuhong Liu, Junhao Ge, Minhao Xiong, Jiahao Gu, Bowei Tang, Wei Jing, Siheng Chen
分类: cs.RO, cs.MA
发布日期: 2025-10-11
💡 一句话要点
Harmanoid：提出双人形机器人交互式全身控制学习框架，实现逼真的人机交互。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 双人形机器人 交互控制 运动模仿 强化学习 接触感知 运动重定向
📋 核心要点
- 现有单人形机器人方法忽略了智能体间的动态，导致交互时出现接触错位和运动不真实等问题。
- Harmanoid通过接触感知运动重定向和交互驱动的运动控制器，显式建模智能体间的接触和交互动力学。
- 实验表明，Harmanoid在交互式运动模仿方面显著优于现有的单人形机器人框架，提升了交互的真实性。
📝 摘要（中文）
人形机器人真正的潜力在于超越单智能体的自主性：两个或更多的人形机器人必须进行物理上扎实、社会意义丰富的全身互动，以反映人类社交互动的丰富性。然而，单人形机器人的方法存在孤立问题，忽略了智能体间的动态，导致接触错位、相互穿透和不真实的运动。为了解决这个问题，我们提出了Harmanoid，一个双人形机器人运动模仿框架，可以将交互的人类运动转移到两个机器人上，同时保持运动学保真度和物理真实感。Harmanoid包含两个关键组件：（i）接触感知运动重定向，通过将SMPL接触与机器人顶点对齐来恢复身体间的协调，以及（ii）交互驱动的运动控制器，利用特定于交互的奖励来加强协调的关键点和物理上合理的接触。通过显式地建模智能体间的接触和交互感知的动力学，Harmanoid捕捉了单人形机器人框架固有忽略的人形机器人之间的耦合行为。实验表明，Harmanoid显著改善了交互式运动模仿，超越了现有在这些场景中大多失败的单人形机器人框架。
🔬 方法详解
问题定义：现有单人形机器人控制方法在处理双人形机器人交互任务时，由于忽略了机器人之间的相互作用力、接触关系以及运动协调，导致机器人运动不自然、接触不稳定，甚至出现相互穿透等不符合物理规律的现象。这些问题严重限制了人形机器人在需要多人协作的复杂环境中的应用。
核心思路：Harmanoid的核心思路是通过显式地建模双人形机器人之间的接触和交互动力学，来解决单人形机器人方法的不足。具体来说，该方法首先通过接触感知的运动重定向，将人类的交互运动映射到机器人身上，并保证关键接触点的对齐。然后，利用交互驱动的运动控制器，通过优化奖励函数，使得机器人的运动更加协调和符合物理规律。
技术框架：Harmanoid框架主要包含两个模块：(1) 接触感知运动重定向模块：该模块负责将人类的运动数据映射到两个机器人身上，同时考虑到机器人之间的接触关系，保证关键接触点（如手与手之间的握手）的对齐。该模块利用SMPL模型来表示人体，并通过优化算法来找到最佳的机器人姿态。(2) 交互驱动的运动控制器模块：该模块负责控制机器人的运动，使其能够完成指定的交互任务。该模块使用强化学习算法，通过优化奖励函数来学习控制策略。奖励函数的设计考虑了多个因素，包括运动的平滑性、接触的稳定性以及任务的完成度。
关键创新：Harmanoid的关键创新在于其显式地建模了双人形机器人之间的接触和交互动力学。与传统的单人形机器人方法相比，Harmanoid能够更好地捕捉机器人之间的相互作用，从而实现更加自然和真实的交互运动。此外，Harmanoid还提出了一种新的接触感知运动重定向方法，该方法能够有效地保证关键接触点的对齐。
关键设计：在接触感知运动重定向模块中，论文使用SMPL模型来表示人体，并通过最小化SMPL模型与机器人模型之间的差异来找到最佳的机器人姿态。在交互驱动的运动控制器模块中，论文使用PPO（Proximal Policy Optimization）算法来训练控制策略。奖励函数的设计包括以下几个方面：(1) 运动平滑性奖励：鼓励机器人产生平滑的运动。(2) 接触稳定性奖励：鼓励机器人保持稳定的接触。(3) 任务完成度奖励：鼓励机器人完成指定的交互任务。具体奖励函数的权重需要根据具体的任务进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Harmanoid在交互式运动模仿任务中显著优于现有的单人形机器人框架。例如，在握手任务中，Harmanoid能够生成更加自然和稳定的握手动作，而单人形机器人方法则经常出现接触错位和运动不协调的问题。定量评估结果也显示，Harmanoid在运动学保真度和物理真实感方面均取得了显著提升。
🎯 应用场景
Harmanoid技术可应用于双人形机器人协同作业、人机协作、康复训练等领域。例如，在工业生产中，两个机器人可以协同完成复杂的装配任务；在医疗领域，机器人可以辅助医生进行手术或康复训练；在娱乐领域，机器人可以与人进行互动表演，提供更加丰富的用户体验。该研究为实现更自然、更智能的人机交互奠定了基础。
📄 摘要（原文）
The true promise of humanoid robotics lies beyond single-agent autonomy: two or more humanoids must engage in physically grounded, socially meaningful whole-body interactions that echo the richness of human social interaction. However, single-humanoid methods suffer from the isolation issue, ignoring inter-agent dynamics and causing misaligned contacts, interpenetrations, and unrealistic motions. To address this, we present Harmanoid , a dual-humanoid motion imitation framework that transfers interacting human motions to two robots while preserving both kinematic fidelity and physical realism. Harmanoid comprises two key components: (i) contact-aware motion retargeting, which restores inter-body coordination by aligning SMPL contacts with robot vertices, and (ii) interaction-driven motion controller, which leverages interaction-specific rewards to enforce coordinated keypoints and physically plausible contacts. By explicitly modeling inter-agent contacts and interaction-aware dynamics, Harmanoid captures the coupled behaviors between humanoids that single-humanoid frameworks inherently overlook. Experiments demonstrate that Harmanoid significantly improves interactive motion imitation, surpassing existing single-humanoid frameworks that largely fail in such scenarios.