BifrostUMI: Bridging Robot-Free Demonstrations and Humanoid Whole-Body Manipulation
作者: Chenhao Yu, Hongwu Wang, Youhao Hu, Jiachen Zhang, Yuanyuan Li, Shaqi Luo
分类: cs.RO
发布日期: 2026-05-05
💡 一句话要点
BifrostUMI：桥接无机器人演示与人形机器人全身操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人形机器人 全身操作 VR演示 数据采集 关键点重定向
📋 核心要点
- 现有的人形机器人全身操作数据采集依赖机器人遥操作，存在硬件限制和效率低下的问题。
- BifrostUMI利用VR设备捕捉人类关键点轨迹和腕部视觉数据，训练策略网络预测未来轨迹。
- 通过关键点重定向，将人类动作映射到机器人形态并执行，实现了高效的动作迁移。
📝 摘要（中文）
高质量的数据收集是训练人形机器人全身视觉运动策略的基石。目前的数据采集范式主要依赖于机器人遥操作，但通常受到硬件可及性有限和操作效率低的限制。受通用操作界面（UMI）的启发，我们提出了BifrostUMI，一个便携、高效且无需机器人的数据收集框架，专为人形机器人设计。BifrostUMI利用轻量级VR设备捕获人类演示作为稀疏关键点轨迹，同时记录腕部安装的视觉数据。这些多模态数据随后被用于训练一个高层策略网络，该网络预测以捕获的视觉特征为条件的未来关键点轨迹。通过强大的关键点重定向流程，关键点轨迹被精确地映射到机器人的形态上，并通过全身控制器执行。这种方法能够将自然人类演示中的多样化和敏捷行为无缝地转移到人形机器人身上。我们在两个不同的实验场景中展示了所提出框架的有效性和通用性。
🔬 方法详解
问题定义：论文旨在解决人形机器人全身操作策略训练中，数据采集效率低、成本高的问题。现有方法依赖于机器人遥操作，需要昂贵的硬件设备和专业的操作人员，限制了数据规模和多样性，进而影响策略的学习效果。
核心思路：论文的核心思路是利用VR设备捕捉人类的动作演示，并将其转化为机器人可以执行的动作。通过将人类的动作分解为关键点轨迹，并结合腕部视觉信息，训练一个策略网络来预测未来的关键点轨迹。然后，通过关键点重定向，将这些轨迹映射到机器人的形态上，从而实现动作的迁移。
技术框架：BifrostUMI框架主要包含三个阶段：数据采集、策略学习和动作执行。数据采集阶段使用VR设备捕捉人类的关键点轨迹和腕部视觉数据。策略学习阶段使用这些数据训练一个高层策略网络，该网络以视觉特征为条件，预测未来的关键点轨迹。动作执行阶段将预测的关键点轨迹通过关键点重定向映射到机器人的形态上，并通过全身控制器执行。
关键创新：该论文的关键创新在于提出了一个无需机器人的数据采集框架，降低了数据采集的成本和难度。同时，通过结合关键点轨迹和视觉信息，提高了策略学习的效率和泛化能力。关键点重定向技术实现了人类动作到机器人动作的精确映射。
关键设计：策略网络采用Transformer架构，以适应时序数据的处理。损失函数包括关键点预测损失和动作平滑损失，以保证预测轨迹的准确性和流畅性。关键点重定向采用优化方法，最小化人类和机器人关键点之间的距离，同时考虑机器人的关节限制。
🖼️ 关键图片
📊 实验亮点
论文在两个不同的实验场景中验证了BifrostUMI框架的有效性。实验结果表明，该框架能够将人类演示中的多样化和敏捷行为无缝地转移到人形机器人身上。与传统的机器人遥操作方法相比，BifrostUMI能够显著提高数据采集的效率和降低成本。具体性能数据未知。
🎯 应用场景
BifrostUMI框架可应用于各种人形机器人的控制任务，例如家庭服务、医疗辅助、工业制造等。该框架降低了数据采集的门槛，使得更多的人可以参与到机器人控制策略的开发中。此外，该框架还可以用于学习复杂的人类技能，并将其迁移到机器人身上，从而提高机器人的智能化水平。
📄 摘要（原文）
High-quality data collection is a fundamental cornerstone for training humanoid whole-body visuomotor policies. Current data acquisition paradigms predominantly rely on robot teleoperation, which is often hindered by limited hardware accessibility and low operational efficiency. Inspired by the Universal Manipulation Interface (UMI), we propose BifrostUMI, a portable, efficient, and robot-free data collection framework tailored for humanoid robots. BifrostUMI leverages lightweight VR devices to capture human demonstrations as sparse keypoint trajectories while simultaneously recording wrist-mounted visual data. These multimodal data are subsequently utilized to train a high-level policy network that predicts future keypoint trajectories conditioned on the captured visual features. Through a robust keypoint retargeting pipeline, keypoint trajectories are precisely mapped onto the robot's morphology and executed via a whole-body controller. This approach enables the seamless transfer of diverse and agile behaviors from natural human demonstrations to humanoid embodiments. We demonstrate the efficacy and versatility of the proposed framework across two distinct experimental scenarios.