UMR: Universal Manipulation Representation

📄 arXiv: 2609.34256v1 📥 PDF

作者: Song Liu, Linyi Li, Yanshun Zhao, Rxuan Li, Xinrui Xu, Yi Ju, Yahui Deng, Senge Zhang, Guoyu Liu, Yixuan Li, Wuyang Zhang, Yao Li, Congcong Zhu, Jingrun Chen

分类: cs.RO

发布日期: 2026-09-28

备注: Submitted to IEEE International Conference on Robotics and Automation (ICRA)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出UMR以解决跨机器人操作技能转移问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 通用操作表示 机器人技能转移 嵌入式操作 世界流 自我轨迹 数据高效策略 点云编辑

📋 核心要点

  1. 现有方法依赖于特定于机器人的动作空间，限制了跨机器人技能的转移和演示的可扩展性。
  2. 提出通用操作表示（UMR），将操作分解为世界流和自我轨迹，支持零-shot技能转移。
  3. 在模拟和现实环境中，WEPVLA展示了高达97.5%的成功率，显著优于基线方法。

📝 摘要（中文）

通用嵌入式操作依赖于统一的动作表示，以便在不同的机器人之间进行有效的技能转移。然而，现有策略依赖于特定于机器人本体的动作空间，限制了跨本体演示的可扩展性。为此，本文提出了通用操作表示（UMR），它将操作分解为两个功能上独立但几何上相关的组件：与本体无关的世界流（World Flow）和相对于当前姿态的自我轨迹（Ego Trajectory）。我们将UMR实例化为世界-自我点VLA（WEPVLA），通过双流点动作适配器和统一的点动作专家在统一几何动作空间中学习。实验结果表明，WEPVLA在模拟环境中取得了LIBERO的97.5%和10任务RLBench基准的85.7%的成功率。

🔬 方法详解

问题定义：本文旨在解决现有操作策略在不同机器人之间技能转移的困难，现有方法依赖于特定于本体的动作空间，导致跨本体演示难以利用。

核心思路：提出通用操作表示（UMR），通过将操作分解为世界流和自我轨迹，允许在不同机器人之间进行零-shot技能转移。这样的设计使得操作表示与具体机器人无关，从而提高了灵活性和可扩展性。

技术框架：UMR的实现为世界-自我点VLA（WEPVLA），其架构包括双流点动作适配器和统一的点动作专家，利用$SE(3)$共轭将两个组件耦合在一起。

关键创新：UMR的核心创新在于其将操作分解为两个几何上相关的组件，使得技能可以在不同机器人之间无缝转移，显著提高了操作的通用性。

关键设计：WEPVLA模型包含约0.5B参数，通过数据高效策略（DES）增强数据利用率，采用阶段感知的点云编辑技术来多样化物体配置，同时保持接触几何的完整性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在模拟实验中，WEPVLA在LIBERO基准上取得了97.5%的成功率，在10任务RLBench基准上达到85.7%。在现实世界实验中，经过约10分钟的人类演示训练，WEPVLA在六个评估设置中实现了91.7%的平均成功率，相较于基线方法HumanEgo的60.8%有显著提升。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过实现跨机器人技能的高效转移，UMR能够显著提升机器人在复杂环境中的适应能力和操作效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

General-purpose embodied manipulation hinges on a unified action representation that generalizes across embodiments and scales readily. Yet existing policies rely on embodiment-specific action spaces, making cross-embodiment demonstrations difficult to leverage at scale and limiting transfer to new embodiments and spatial variations. To this end, we introduce Universal Manipulation Representation (UMR), a unified action representation that enables zero-shot skill transfer from human demonstrations to heterogeneous robots. UMR decomposes manipulation into two functionally distinct yet geometrically linked components: embodiment-agnostic World Flow, which describes task-relevant object motion in the world frame, and Ego Trajectory, which represents end-effector motion relative to the current pose. We instantiate UMR as World--Ego Point VLA (WEPVLA), a compact 0.5B-parameter policy that learns in the unified geometric action space through a dual-stream Point Action Adapter and a unified Point Action Expert, with an $SE(3)$ conjugation coupling the two components. To improve data efficiency, we complement UMR with a Data-Efficient Strategy (DES) that diversifies object configurations through stage-aware point-cloud editing while preserving demonstrated contact geometry. In simulation, WEPVLA achieves average success rates of 97.5\% on LIBERO and 85.7\% on the 10-task RLBench benchmark. In real-world experiments, a single policy trained on human demonstrations augmented by DES transfers zero-shot to diverse deployment conditions. With about 10 minutes of collected human demonstrations per task and no robot demonstrations, it achieves 91.7\% average success across six evaluation settings, compared with 60.8\% for HumanEgo. Code and additional materials are available at https://umr-wepvla.github.io/.