VLM-Guided Contact Retargeting and Generative Partner Modeling for Humanoid-Human Interaction

📄 arXiv: 2610.28523v1 📥 PDF

作者: Yuto Shibata, Kotaro Amaya, Kashu Yamazaki, Lalit Jayanti, Yoshimitsu Aoki, Mariko Isogawa, Katerina Fragkiadaki

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-10-20

备注: CoRL2026, project page: https://yutoshibata07.github.io/REACT/

💡 一句话要点

提出REACT框架以解决人形机器人与人类交互中的部分可观测性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人形机器人 人机交互 部分可观测性 接触建模 生成模型 交互策略学习 深度渲染 语义理解

📋 核心要点

  1. 现有方法在近距离接触时，因人类被遮挡或超出视野，导致姿态估计失败，影响交互效果。
  2. REACT框架通过VLM引导的接触建模与重定向，结合生成伙伴状态建模，提升了交互策略的学习与执行能力。
  3. 实验结果显示，REACT在五种交互中，语义接触建模显著提高了示范交互的保留率，且在重遮挡情况下，伙伴状态建模提升了接触回忆率。

📝 摘要（中文）

人形机器人与人类的交互需要在严重的部分可观测性下进行，尤其是在近距离接触时，人的身体可能被遮挡或超出机器人的视野，导致姿态估计失败。为此，本文提出了REACT框架，通过学习人类示范来生成可部署的人形机器人交互策略。REACT将语义接触结构视为连接示范处理、交互学习和控制的关键监督信号。该框架通过VLM引导的接触建模与重定向管道，识别语义上有意义的接触，并将其转移到人形机器人几何体上，同时保持交互结构。实验表明，REACT在模拟和真实Unitree G1人形机器人上均能有效执行五种接触丰富的交互。

🔬 方法详解

问题定义：本文旨在解决人形机器人与人类交互中的部分可观测性问题，现有方法在近距离接触时容易因遮挡导致姿态估计失败，影响交互效果。

核心思路：REACT框架通过将语义接触结构作为关键监督信号，结合VLM引导的接触建模与重定向，学习有效的交互策略，并通过生成伙伴状态建模来预测被遮挡的伙伴动作。

技术框架：REACT的整体架构包括接触建模与重定向管道、交互策略学习模块和生成伙伴状态建模模块。首先，识别并重定向语义接触，然后通过交互奖励学习物理基础的行为，最后生成伙伴状态以应对遮挡问题。

关键创新：REACT的主要创新在于将语义接触建模与生成伙伴状态建模相结合，显著提升了在复杂交互场景中的表现，尤其是在重遮挡情况下的交互回忆能力。

关键设计：在设计中，采用了交互奖励机制来引导策略学习，使用了基于深度渲染的训练方法，并通过生成模型来预测伙伴的运动状态，确保机器人能够在部分可观测的环境中有效执行交互。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，REACT在五种接触丰富的交互中，语义接触建模显著提高了示范交互的保留率，且在重遮挡情况下，伙伴状态建模提升了接触回忆率，具体表现为在四种交互中均有显著改善，尤其是在真实硬件上实现了完全依赖于机载传感器的交互执行。

🎯 应用场景

该研究的潜在应用领域包括人形机器人在家庭、医疗和服务行业中的人机交互。通过提升机器人在复杂环境中的交互能力，REACT框架能够为未来的智能机器人系统提供更自然和高效的交互体验，推动人机协作的发展。

📄 摘要（原文）

Humanoid-human interaction requires robots to operate under severe partial observability: during close physical contact, the human partner is occluded, truncated, or outside the robot's field of view, causing pose estimation to fail and often necessitating external tracking or privileged human state. At the same time, heavy mutual occlusions introduce errors into the human-human motion-capture data used for learning. We present REACT, a framework for learning deployable humanoid-human interaction policies from human-human demonstrations. REACT treats semantic contact structure as the key supervisory signal connecting demonstration processing, interaction learning, and onboard control. First, a VLM-guided contact modeling and retargeting pipeline identifies semantically meaningful contacts and transfers them onto humanoid-human geometry while preserving interaction structure. Using these annotations, privileged interaction policies learn physically grounded behaviors through interaction-aware contact rewards and are then distilled into deployable egocentric depth policies trained entirely from onboard sensing using photorealistic human depth rendering. To address severe partial observability, we introduce generative partner-state modeling objectives that predict partner motion from occluded egocentric views. We evaluate REACT in simulation and on a real Unitree G1 humanoid across five contact-rich interactions. Semantic contact modeling substantially improves preservation of demonstrated interactions, while generative partner-state modeling improves contact recall on four of five interactions, most under heavy occlusion. On real hardware, REACT performs all five interactions using onboard sensing alone.