Robotizing Human Videos with Physically Consistent Interactions
作者: Ching-Lam Cheng, Shengfeng He, Bin Zhu
分类: cs.RO
发布日期: 2026-10-05
💡 一句话要点
提出基于物理一致性交互的视频机器人化方法以解决人机交互问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人操作 视频编辑 物理一致性 交互重建 深度感知 机器学习 视觉编码
📋 核心要点
- 现有方法在将人类视频应用于机器人操作时，面临交互重建不准确和物体遮挡不合理的问题。
- 本文提出了交互感知接触重建和深度感知合成模块，以恢复3D接触并确保物理一致的遮挡效果。
- 在多个任务中，本文方法在成功率上超越了机器人单独训练和原有Masquerade管道，尤其在场景变化时表现优异。
📝 摘要（中文）
人类视频提供了可扩展的操作数据，但人手与机器人操控器之间的体现差距限制了其直接使用。现有视频编辑方法通过渲染机器人替代人手，但不准确的交互重建和合成会导致不一致的抓取和不合理的机器人-物体遮挡。本文从交互几何和场景可见性两个方面解决这些问题。首先，交互感知接触重建模块结合手-物体分割与网格级接触预测，恢复密集的3D接触，并将其转换为适用于平行夹爪的时间稳定抓取。其次，深度感知合成模块利用场景和机器人深度来强制执行物理一致的机器人-物体遮挡。最终生成的视频保留了人类演示的交互结构，并与机器人演示共同训练。实验表明，该方法在四个RoboTwin任务和两个Diffusion Policy视觉编码器上取得了最高的平均成功率，尤其在场景变化时表现出显著提升。
🔬 方法详解
问题定义：本文旨在解决人类视频在机器人操作中的应用问题，现有方法在交互重建和合成方面存在不准确性，导致抓取不一致和物体遮挡不合理。
核心思路：通过引入交互感知接触重建和深度感知合成模块，本文旨在恢复真实的3D接触并确保机器人与物体之间的物理一致性，从而实现更自然的机器人操作。
技术框架：整体架构包括两个主要模块：交互感知接触重建模块和深度感知合成模块。前者负责恢复3D接触，后者确保合成视频中的物理一致性。
关键创新：本文的主要创新在于结合手-物体分割与网格级接触预测，首次实现了密集3D接触的恢复，并通过深度信息强化了合成过程中的物理一致性。
关键设计：在接触重建中，采用了特定的损失函数以优化接触预测的准确性，同时在合成模块中使用了场景和机器人深度信息，以确保遮挡效果的物理合理性。具体的网络结构和参数设置在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文方法在四个RoboTwin任务和两个Diffusion Policy视觉编码器上，成功率达到了最高水平，尤其在场景变化的情况下，成功率提升幅度显著，展示了该方法的有效性和鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、虚拟现实和增强现实等场景，能够提升机器人在复杂环境中的交互能力，具有重要的实际价值和未来影响。通过实现更自然的机器人操作，该技术可广泛应用于服务机器人、工业自动化等领域。
📄 摘要（原文）
Human videos offer scalable manipulation data, but the embodiment gap between human hands and robot manipulators limits their direct use. Existing video-editing methods replace hands with rendered robots, yet inaccurate interaction reconstruction and compositing can produce inconsistent grasps and implausible robot-object occlusions. We address these failures from two complementary physical aspects: interaction geometry and scene visibility. First, an interaction-aware contact reconstruction module combines hand-object segmentation with mesh-level contact prediction to recover dense 3D contacts, then converts them into temporally stabilized grasps for parallel-jaw grippers. Second, a depth-aware compositing module uses scene and robot depth to enforce physically consistent robot-object occlusions. The resulting videos preserve the interaction structure of human demonstrations in a robot-compatible form and are co-trained with robot demonstrations. Using identical human videos and robot data, we compare against robot-only training and the original Masquerade pipeline. Across four RoboTwin tasks and two Diffusion Policy visual encoders, our method achieves the highest average success rates, with especially strong gains under out-of-distribution scene variation. Real-world deployment further shows that the proposed co-training approach improves robustness to visual distractors when the task geometry is observable, while performance on depth-sensitive grasps remains limited by the single-camera setup.