UMI-Bridge: Action-Anchored Latent Alignment across Human and Robot Manipulation Data
作者: Haiyi Liu, Jingming Ma, Ke Rui, Yuteng Wei, Yuan Ma, Yushen Zuo, Honglong Tian, Haoran Jia, Weitao Zhou, Jiawei Wang, Minglei Li, Shiyi Chen, Haiyan Mao, Jiaqi Zhang, Chun Zhang
分类: cs.RO
发布日期: 2026-09-16
备注: 8 pages, 5 figures, 2 tables
💡 一句话要点
提出UMI-Bridge以解决人机操作数据对齐问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机协作 操作数据对齐 潜在表示 机器人学习 多模态数据 动作监督 数据效率
📋 核心要点
- 现有方法在对齐人类与机器人操作数据时面临视角和监督信息差异的挑战，导致效果不佳。
- UMI-Bridge通过将UMI作为中介领域，基于动作等价性对人类和机器人操作数据进行潜在表示对齐。
- 在实验中，UMI-Bridge在多个真实机器人任务中表现出色，成功率显著高于传统方法，验证了其有效性。
📝 摘要（中文）
真实机器人演示受限，促使研究者利用人类操作数据，包括自我中心视频和手持通用操作接口（UMI）演示。然而，由于视角、体现和可用动作监督的差异，难以根据操作运动而非视觉外观对这些来源的表示进行对齐。我们提出UMI-Bridge，利用UMI作为中介领域，根据动作等价性而非像素相似性对表示进行对齐。UMI动作监督将潜在表示锚定到末端执行器运动和夹持器行为，同时同步的头-腕观察和配对的自我中心-UMI片段支持跨视角和领域的对齐。我们在没有机器人演示的人类操作数据上训练了双视角潜在动作模型（LAM），然后冻结其腕部教师和动态模型，以在UMI和机器人数据上进行视觉-语言-动作（VLA）后训练。共享的腕部接口使得在两个领域之间进行训练时的监督成为可能，同时保留策略的标准推理架构。在三个真实机器人任务中，UMI-Bridge实现了91.7%的平均成功率，而简单共训练方法的成功率为73.3%。在两个数据效率任务中，它使用25%的机器人演示和UMI数据超越了完整数据的机器人基线。它还在两个没有特定任务机器人演示的UMI演示学习的额外任务中实现了85%和90%的成功率。这些结果支持了基于动作锚定的潜在对齐，以实现数据高效的机器人学习和UMI到机器人任务的转移。
🔬 方法详解
问题定义：本论文旨在解决人类与机器人操作数据之间的表示对齐问题。现有方法由于视角、体现和监督信息的差异，难以有效对齐这些数据，导致机器人学习效率低下。
核心思路：论文提出UMI-Bridge，利用UMI作为中介，通过动作等价性而非视觉相似性对表示进行对齐。UMI的动作监督将潜在表示与末端执行器运动和夹持器行为相结合，从而提高对齐效果。
技术框架：UMI-Bridge的整体架构包括双视角潜在动作模型（LAM）训练、腕部教师和动态模型的冻结，以及在UMI和机器人数据上的视觉-语言-动作（VLA）后训练。通过共享的腕部接口，实现了跨领域的训练时监督。
关键创新：UMI-Bridge的主要创新在于通过动作锚定实现潜在表示的对齐，区别于传统方法仅依赖视觉相似性。这种方法有效提升了人机操作数据的对齐精度。
关键设计：在模型训练中，采用了特定的损失函数来优化动作对齐效果，并设计了适应于不同视角的网络结构，以确保在多模态数据中保持一致性。
🖼️ 关键图片
📊 实验亮点
UMI-Bridge在三个真实机器人任务中实现了91.7%的平均成功率，相较于简单共训练方法的73.3%有显著提升。在数据效率任务中，使用25%的机器人演示和UMI数据超越了完整数据的机器人基线，显示出其在数据利用上的优势。
🎯 应用场景
该研究的潜在应用领域包括机器人学习、自动化操作和人机协作等。通过提高人类与机器人操作数据的对齐效率，UMI-Bridge能够加速机器人在复杂环境中的学习能力，推动智能机器人在实际应用中的广泛部署。
📄 摘要（原文）
Real-robot demonstrations are limited, motivating the use of human manipulation data collected without robots, including egocentric videos and handheld Universal Manipulation Interface (UMI) demonstrations. However, differences in viewpoint, embodiment, and available action supervision make it difficult to align representations across these sources according to manipulation motion rather than visual appearance. We introduce UMI-Bridge, which uses UMI as an intermediate domain to align representations according to action equivalence rather than pixel similarity. UMI action supervision anchors the latent representation to end-effector motion and gripper behavior, while synchronized head-wrist observations and paired ego-UMI clips support alignment across views and domains. We train a dual-view latent action model (LAM) on human manipulation data without robot demonstrations, then freeze its wrist teacher and dynamics model to regularize vision-language-action (VLA) post-training on UMI and robot data. The shared wrist interface enables this training-time supervision across both domains while preserving the policy's standard inference architecture. Across three real-robot tasks, UMI-Bridge achieves 91.7% mean success versus 73.3% for Naive Co-training with matched UMI and robot data. On two data-efficiency tasks, it surpasses a full-data Robot-only baseline using 25% of the robot demonstrations together with UMI data. It also achieves 85% and 90% success on two additional tasks learned from UMI demonstrations without task-specific robot demonstrations. These results support action-anchored latent alignment for data-efficient robot learning and UMI-to-robot task transfer.