UNITAS: A 3D-Native World Action Model for Embodied Manipulation

📄 arXiv: 2610.12099v1 📥 PDF

作者: Ruixiang Wang, Yongyi Su, Wenlve Zhou, Bo Yue, Hengyan Liu, Dekun Lu, Yuxin Tian, Yihan Fang, Zerui Wu, Xing Hu, Jietao Chen, Yong Guo, Ziyan He, Junbin Yuan, Guiliang Liu, Xiaofen Xing, Kui Jia

分类: cs.RO

发布日期: 2026-10-08

备注: 27 pages, 11 figures and 13 tables. Under review

🔗 代码/项目: GITHUB

💡 一句话要点

提出UNITAS以解决三维空间机器人操控中的世界动作建模问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维动作建模 机器人操控 世界动作模型 场景预测 深度学习 物理建模 智能机器人

📋 核心要点

  1. 现有的世界动作模型在处理三维空间中的机器人操控时存在视角依赖性和物理距离编码不足的问题。
  2. 论文提出UNITAS，通过在共享的三维度量框架中统一观察、动作和场景动态，解决了现有方法的局限性。
  3. UNITAS在RoboTwin上表现出色，位移误差降低49%，在LIBERO上操控成功率达到99.8%，展示了显著的性能提升。

📝 摘要（中文）

世界动作模型（WAMs）旨在回答一个耦合的物理问题：给定任务指令，机器人应执行何种动作，以及该动作将如何改变周围世界。现有WAMs大多基于预训练的视频生成器，通过图像或视觉潜变量表示世界演变。然而，机器人交互发生在度量三维空间中，而图像是视角依赖的投影，其像素距离并不直接编码物理距离。我们提出UNITAS，这是首个三维原生的世界动作模型，在每次交互中统一观察、动作和场景动态，使用跨机器人和人手的共同表示。UNITAS在RoboTwin上实现了最佳的动作条件场景预测，相较于PointWorld，位移误差降低了49%，在LIBERO上达到了99.8%的操控成功率，真实世界任务的平均成功率为85%。

🔬 方法详解

问题定义：本论文旨在解决现有世界动作模型在三维空间中无法有效编码物理距离和视角依赖性的问题。现有方法多依赖于图像生成，导致在机器人操控中表现不佳。

核心思路：论文提出UNITAS，首次实现三维原生的世界动作模型，通过在共享的三维框架中统一观察、动作和场景动态，克服了传统方法的局限性。

技术框架：UNITAS的整体架构包括动作流和场景流模块，动作流将人手和机器人抓手表示为三维点轨迹，而场景流则描述基于这些轨迹的场景点位移。

关键创新：最重要的创新在于引入了世界对齐的三维位置嵌入，能够在有无深度输入的情况下有效地将视觉标记进行锚定，支持直接动作执行和动作条件场景预测。

关键设计：UNITAS使用了1.7B参数，采用物理时间轨迹标记器将每个点轨迹编码为一个锚定在其当前三维位置的标记，确保了模型在处理复杂场景时的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UNITAS在RoboTwin上实现了最佳的动作条件场景预测，位移误差比PointWorld降低了49%。在LIBERO数据集上，UNITAS的操控成功率达到了99.8%，在真实世界任务中的平均成功率为85%，显示出其卓越的性能。

🎯 应用场景

该研究的潜在应用领域包括机器人操控、虚拟现实和增强现实等场景，能够提高机器人在复杂环境中的操作能力，推动智能机器人技术的发展。未来，UNITAS可能在自动化制造、家庭服务机器人等实际应用中发挥重要作用。

📄 摘要（原文）

World action models (WAMs) aim to answer a coupled physical question: given a task instruction, what motion should the robot execute, and how will that motion change the surrounding world? Most existing WAMs build on pretrained video generators and represent world evolution through images or visual latents. Robotic interaction, however, takes place in metric three-dimensional space, while images are view-dependent projections whose pixel distances do not directly encode physical distances. We introduce UNITAS, to our knowledge the first 3D-native world action model that unifies observations, actions, and scene dynamics in a shared metric 3D frame within each interaction, using a common representation across robot embodiments and human hands. Action flow represents human hands and robot grippers as 3D point trajectories, while scene flow describes scene-point displacements conditioned on these trajectories. World-aligned 3D positional embeddings ground visual tokens with or without depth input, and a physical-time trajectory tokenizer encodes each point trajectory as one token anchored at its current 3D position. This interface supports both direct action execution and action-conditioned scene prediction. With 1.7B parameters, UNITAS achieves the best action-conditioned scene prediction on RoboTwin among the compared methods, with up to 49% lower displacement errors than PointWorld, and state-of-the-art manipulation success, including 99.8% on LIBERO and an average of 85% across real-world tasks. The code is available at https://github.com/DexForce/UNITAS.