ContactMimic: Humanoid Object Interaction via Contact Control

📄 arXiv: 2607.08742v1 📥 PDF

作者: Xinyao Li, Xialin He, Runpei Dong, Saurabh Gupta

分类: cs.RO

发布日期: 2026-07-09

备注: Project page: https://lixinyao11.github.io/contactmimic-page

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出CONTACTMIMIC以解决机器人与物体交互中的接触控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 机器人交互 接触控制 关键点跟踪 学习框架 人机协作

📋 核心要点

  1. 现有方法在物体交互任务中，无法有效处理机器人与物体的物理接触，导致任务完成度低。
  2. 提出CONTACTMIMIC框架，通过跟踪接触命令和关键点轨迹，增强机器人与物体的交互能力。
  3. 实验结果显示，CONTACTMIMIC在多种人机交互任务中表现优异，超越了传统的关键点跟踪方法。

📝 摘要（中文）

仅依靠关键点跟踪不足以完成如坐椅子、擦黑板或推动家具等物体交互任务，因为机器人可能在未与物体产生有效接触的情况下达到正确姿态。本文提出CONTACTMIMIC，一个学习框架，能够同时跟踪显式的部件级二元接触命令和关键点轨迹。通过使用接触跟随奖励和轨迹增强方案，CONTACTMIMIC成功解耦了接触行为与关键点几何形状，实现了精确的物理接触和接触可控性。模拟实验表明，CONTACTMIMIC在不依赖任务特定奖励的情况下，成功完成了多种人机交互动作，并在与仅依赖关键点的跟踪器的对比中表现出更优的接触相关任务性能。

🔬 方法详解

问题定义：本文旨在解决机器人在物体交互任务中，无法有效实现物理接触的问题。现有方法主要依赖关键点跟踪，导致机器人在未与物体产生有效接触的情况下完成任务，影响交互的准确性和有效性。

核心思路：CONTACTMIMIC框架通过引入部件级的二元接触命令，结合关键点轨迹的跟踪，旨在实现接触行为与关键点几何的解耦，从而增强机器人在物体交互中的接触可控性。

技术框架：该框架包括接触跟随奖励机制和轨迹增强方案，前者用于指导机器人在交互过程中保持有效接触，后者则通过打破关键点轨迹与接触标签之间的相关性，提升学习效果。

关键创新：CONTACTMIMIC的主要创新在于将接触控制与关键点跟踪相结合，成功实现了接触行为的可控性，使得机器人能够在不同任务中灵活产生或抑制接触。

关键设计：在设计中，采用了特定的损失函数来平衡接触跟随奖励与关键点轨迹的学习，同时在网络结构上进行了优化，以提高模型的学习效率和准确性。具体参数设置和网络架构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CONTACTMIMIC在10种不同的人机交互动作中表现出色，成功实现了接触可控性，并在接触相关任务中超越了传统的仅依赖关键点的跟踪器，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过提升机器人与物体的交互能力，CONTACTMIMIC能够在实际操作中实现更高的灵活性和准确性，未来可能推动智能机器人在复杂环境中的广泛应用。

📄 摘要（原文）

Keypoint tracking alone is insufficient for object interaction tasks such as sitting on a chair, wiping a board, or pushing furniture, where the robot can reach the correct pose without making meaningful physical contact with the object. We present CONTACTMIMIC, a learning framework that tracks explicit partlevel binary contact commands alongside keypoint trajectories. CONTACTMIMIC is made possible through the use of contact-following rewards and a trajectory augmentation scheme aimed at breaking the correlations between keypoint trajectories and contact labels. The resulting policy successfully decouples contact behavior from keypoint geometry, and achieves precise physical contact as well as contact-controllability (produce or suppress contact during deployment as desired). Simulation experiments across 10 diverse human-object interaction motions confirm that CONTACTMIMIC exhibits contact controllability that enables it to complete manipulation tasks without task-specific rewards, while also outperforming keypoint-only trackers on contact-relevant tasks. Ablations confirm the necessity of the proposed trajectory augmentation scheme and sim2real deployment validates contact controllability in the real world across 5 different motions. Video results are available on https://lixinyao11.github.io/contactmimic-page/.