Geometry-Preserving Human-to-Robot Upper-Body Motion Retargeting from Monocular Video
作者: Xiaoyu Yang, Sen Han, Da Li, Nan Wu
分类: cs.RO
发布日期: 2026-09-29
备注: 9 pages, 4 figures, 3 tables
💡 一句话要点
提出几何保持的人机上半身动作重定向框架以解决视频驱动的挑战
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting)
关键词: 单目视频 人机交互 运动重定向 几何保持 机器人技术 动作捕捉 运动学
📋 核心要点
- 现有方法在从单目视频中提取人类动作时，面临身体与手部运动恢复尺度不一致的问题，导致动作重定向效果不佳。
- 本文提出了一种几何保持的运动重定向框架，通过统一的身体-手部重建与几何转移，解决了人机运动学差异带来的挑战。
- 实验结果表明，重定向的轨迹在运动学仿真中均成功播放，手部重投影误差从22.36降低至7.21像素，验证了方法的有效性。
📝 摘要（中文）
单目RGB视频为上半身机器人运动提供了可获取的人类示范，但由于身体和手部运动在不同空间尺度上恢复、人体与机器人运动学差异显著，以及细微的远端运动难以在不同体现间保持，视频驱动的人机转移仍然面临挑战。本文提出了一种几何保持的运动重定向框架，集成了统一的身体-手部重建与形态无关的几何转移。通过帧级身体估计、视频级观察和详细的手部证据共同约束单个可微分的动量人类骨架状态，同时在参数空间中修复瞬态手部伪影。重建的运动通过臂段方向、肘部配置、相对掌心方向和双侧手腕关系表示，并通过多阶段逆运动学和机器人特定的手部适配在目标机器人上实现。该方法在16个单目视频上进行评估，结果表明从单目人类视频到双臂灵巧机器人协调上半身运动的统一管道的有效性。
🔬 方法详解
问题定义：本文旨在解决从单目视频中提取人类上半身动作并重定向到机器人时，身体和手部运动恢复尺度不一致、运动学差异显著以及细微运动保持困难等问题。
核心思路：提出的几何保持运动重定向框架通过统一的身体-手部重建与形态无关的几何转移，能够有效地约束运动重定向过程，确保细节的保留。
技术框架：整体架构包括帧级身体估计、视频级观察和手部证据的整合，形成一个可微分的动量人类骨架状态，并通过多阶段逆运动学实现机器人运动。
关键创新：最重要的技术创新在于提出了几何保持的重定向方法，能够在不同的身体形态间实现高保真的运动转移，显著提升了重定向的准确性。
关键设计：在参数设置上，采用了多阶段逆运动学和机器人特定的手部适配，损失函数设计上关注手部运动的细节保留，确保重建运动的自然性和流畅性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所有16条重定向轨迹均成功完成运动学仿真播放，手部重投影误差显著降低，从22.36像素降至7.21像素，验证了方法的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括人机交互、机器人辅助技术和虚拟现实等。通过实现高保真的人类动作重定向，能够提升机器人在复杂环境中的适应能力和灵活性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Monocular RGB video provides an accessible source of human demonstrations for upper-body robot motion, yet video-driven human-to-robot transfer remains challenging because body and hand motion are recovered at different spatial scales, human and robot kinematics differ substantially, and fine distal motion is difficult to preserve across embodiments. We present a geometry-preserving motion-retargeting framework that integrates unified body--hand reconstruction with morphology-independent geometric transfer. Frame-wise body estimates, video-level observations, and detailed hand evidence jointly constrain a single differentiable Momentum Human Rig (MHR) state, while transient hand artifacts are repaired in parameter space. The reconstructed motion is represented by arm-segment directions, elbow configuration, relative palm orientation, and bilateral wrist relations, and is realized on the target robot through multi-stage inverse kinematics and robot-specific hand adaptation. Within the broader system, Across-VAM provides video generation, whereas Across-WAM performs human-to-robot motion mapping. The method is evaluated on 16 monocular videos comprising 1,769 source frames, including 10 signing and six reach-to-grasp sequences. Unified reconstruction reduces mean hand reprojection error from 22.36 to 7.21 pixels relative to SAM 3D Body. All 16 retargeted trajectories completed kinematic simulation playback, and representative signing and reach-to-grasp motions were further demonstrated on a physical robot. The results demonstrate a unified pipeline from monocular human video to coordinated upper-body motion on a dual-arm dexterous robot.