OmniInteract: Towards Unified Whole-Body Interaction Control for Dual Humanoids
作者: Yinghao Li, Tianyu Zhang, Zhuohao Li, Yi-Lin Wei, Fa-Ting Hong, Qing Zhang, Wei-Shi Zheng
分类: cs.RO
发布日期: 2026-10-19
备注: 30 pages including appendix, 11 figures. Project page: https://calvinyhli.github.io/omniinteract.github.io/
💡 一句话要点
提出OmniInteract以解决双人类机器人交互控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting)
关键词: 双人类机器人 物理交互 全身运动控制 残差策略学习 表面感知建模 人机协作 智能制造
📋 核心要点
- 现有方法在双人类机器人交互中面临形态差异和控制保真度下降的挑战，影响了交互的有效性。
- 提出的OmniInteract通过表面接触感知重定向和可扩展的流式交互策略，解决了人机交互中的接触和协调问题。
- 实验结果显示，OmniInteract在重定向保真度和双人类协调性方面显著提升，能够有效应对技能多样性带来的挑战。
📝 摘要（中文）
物理交互是人形机器人协作的关键能力，要求协调的全身运动和精确的接触。然而，学习多样的双人类交互面临两个主要挑战：人机形态差异干扰接触接口和空间关系，以及联合学习运动技能和伙伴协调使得控制保真度难以保持。本文提出OmniInteract，通过表面感知建模和可扩展的残差策略学习来解决这些挑战。首先，我们引入表面接触感知重定向，利用密集的人机表面对应关系共同重定向两个机器人，保留明确的交互接触接口及其近场几何上下文。其次，我们提出可扩展的基于流的交互策略，用于伙伴条件的残差生成。这种方法将双人类控制分解为可重用的运动基础和交互特定的适应，实验结果表明，OmniInteract在重定向保真度和双人类协调性方面有所提升，同时在技能多样性增加时更好地保持交互性能。
🔬 方法详解
问题定义：本文旨在解决双人类机器人在物理交互中的控制问题，现有方法在处理人机形态差异和保持控制保真度方面存在不足，导致交互效果不佳。
核心思路：论文提出OmniInteract，通过表面感知建模和可扩展的残差策略学习，解决了接触接口和协调性的问题。具体而言，利用密集的人机表面对应关系进行重定向，同时将双人类控制分解为可重用的运动基础和交互特定的适应。
技术框架：OmniInteract的整体架构包括两个主要模块：表面接触感知重定向模块和可扩展流式交互策略模块。前者负责重定向两个机器人以保持接触接口，后者则通过条件流匹配实现伙伴协调。
关键创新：最重要的技术创新在于引入了表面接触感知重定向和伙伴条件的残差生成机制，这与现有方法的单一控制策略有本质区别，能够更好地适应多样化的交互场景。
关键设计：在设计中，采用了密集的人机表面对应关系作为重定向的基础，损失函数则考虑了接触保真度和运动协调性，网络结构上采用了流式模型以实现条件生成。通过这些设计，提升了系统的灵活性和适应性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，OmniInteract在重定向保真度和双人类协调性方面显著提升，相较于基线方法，重定向保真度提高了XX%，而在技能多样性增加时，交互性能保持率提升了YY%。这些结果验证了该方法在实际应用中的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括人形机器人协作、智能制造、服务机器人等。通过提升双人类机器人间的交互能力，OmniInteract可以在实际场景中实现更高效的协作，推动人机协作技术的发展，未来可能在家庭、医疗和工业等多个领域产生深远影响。
📄 摘要（原文）
Physical interaction is a key capability for humanoid collaboration, requiring coordinated whole-body motion and precise contact. However, learning diverse dual-humanoid interactions faces two major challenges: (1) human-robot morphological differences disrupt contact interfaces and spatial relationships during retargeting, and (2) jointly learning motor skills and partner coordination makes it difficult to retain control fidelity as interaction diversity grows. In this paper, we propose OmniInteract to address these challenges through surface-aware modeling and scalable residual policy learning. First, we introduce Surface Contact-Aware Retargeting, which leverages dense human-robot surface correspondences to jointly retarget both humanoids, preserving explicit interaction contact interfaces and their near-field geometric context. Second, we propose a Scalable Flow-based Interaction Policy for partner-conditioned residual generation. It factorizes dual-humanoid control into a reusable motor foundation and interaction-specific adaptations: partner-aware experts learn corrections over a frozen whole-body motion prior, while conditional flow matching unifies them in a shared residual action space. This enables scalable skill consolidation while retaining pretrained motor capabilities. Extensive experiments demonstrate that OmniInteract improves retargeting fidelity and dual-humanoid coordination while better retaining interaction performance as skill diversity grows. Real-world deployment further demonstrates successful contact establishment, stable whole-body coordination, and recovery from external perturbations.