MachEmbodied-U0: Unified Understanding and Generation Model for Embodied Intelligence
作者: Haoran Wen, Wenfu Wang, Kunsong Shi, Jingke Wang, Wancheng Feng, Yiren Zhang, Yueran Zhao, Xuancheng Zhang, Nanfei Ye, Xingru Chen, Zhaohong Sun, Chengmin Yang, Zikang Yu, Penghao Bi, Jia Shi, Yu Liu, Kun Zhan, Yan Xie
分类: cs.RO, cs.CV
发布日期: 2026-09-22
备注: Technical report. Project page: https://machembodied.com/ME-U/ME-U0.html. Code: https://github.com/MachEmbodied/ME-U0
💡 一句话要点
提出MachEmbodied-U0以解决通用机器人控制中的理解与生成问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人控制 视觉动态 多模态学习 任务理解 生成模型 混合变换器 可供性基础 零-shot学习
📋 核心要点
- 现有机器人控制方法在理解任务意图和场景动态方面存在不足，难以实现精细操作。
- MachEmbodied-U0通过混合变换器架构，将理解与生成模块结合，利用视觉动态信息提升控制能力。
- ME-U0在RoboDojo基准上平均得分17.66，在LIBERO和LIBERO-Plus上成功率分别达到99.0%和82.5%。
📝 摘要（中文）
通用机器人控制需要模型理解任务意图、识别交互位置、捕捉场景演变并生成精确动作。现有的视觉-语言-动作模型通常未明确建模场景动态，而世界-动作模型则将视觉预测与控制结合，但未必提供细粒度操作所需的语义和空间结构。本文提出MachEmbodied-U0（ME-U0），一个统一的基础模型，通过混合变换器架构连接理解与生成专家。子任务预测和可供性基础引导视觉动态与动作生成。ME-U0在约4200小时的机器人和自我中心数据集上进行预训练，并在多个基准上取得了优异的表现，展示了其在真实世界中的有效性。
🔬 方法详解
问题定义：本文旨在解决通用机器人控制中对任务意图、场景动态理解不足的问题。现有方法未能有效结合视觉信息与动作生成，导致操作精度不足。
核心思路：MachEmbodied-U0（ME-U0）通过混合变换器架构，整合理解与生成模块，利用视觉动态信息（如未来RGB、深度、表面法线和光流）来指导动作生成，从而提升机器人在复杂环境中的操作能力。
技术框架：ME-U0的整体架构包括子任务预测和可供性基础模块，采用流匹配方法引导视觉动态与动作生成。多速率旋转位置编码（MRPE）用于对齐视觉动态与精细控制。
关键创新：ME-U0的主要创新在于其统一的架构设计，能够同时处理理解和生成任务，且通过视觉动态信息提供了更为丰富的监督信号，显著提升了操作的精确性和灵活性。
关键设计：在训练过程中，ME-U0使用了4200小时的精心策划的演示数据，采用了特定的损失函数来优化视觉动态与动作生成的匹配，确保模型在不同任务中的泛化能力。整体网络结构设计上，采用了多层次的变换器模块以增强特征提取能力。
🖼️ 关键图片
📊 实验亮点
ME-U0在RoboDojo仿真基准上平均得分17.66，显示出其在复杂任务中的优越性能。此外，在LIBERO和LIBERO-Plus基准上，ME-U0的成功率分别达到了99.0%和82.5%，验证了其在真实世界任务中的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能家居、工业自动化和服务机器人等。通过提升机器人对复杂任务的理解和执行能力，ME-U0能够在多种实际场景中实现更高效的操作，推动机器人技术的广泛应用与发展。
📄 摘要（原文）
General-purpose robot control requires models to understand task intent, identify where to interact, capture how the scene evolves, and generate precise actions. Vision-language-action models provide strong semantic priors but typically do not explicitly model scene dynamics, while world-action models couple visual prediction with control without necessarily exposing the task-relevant semantic and spatial structure needed for fine-grained manipulation. We present MachEmbodied-U0 (ME-U0), a unified embodied foundation model connecting understanding and generation experts through a Mixture-of-Transformers architecture. Subtask prediction and affordance grounding guide joint visual-dynamics and action generation via flow matching. Visual dynamics encompass future RGB, depth, surface normals, and optical flow, providing complementary supervision for appearance, geometry, and motion. Multi-rate Rotary Position Encoding (MRPE) aligns visual dynamics with fine-grained control. We pretrain ME-U0 on approximately 4,200 hours of curated demonstrations from robotic datasets and egocentric datasets. Using only the supervision natively available in each downstream benchmark, ME-U0 achieves an average score of 17.66 on the RoboDojo simulation benchmark and average success rates of 99.0\% and 82.5\% on LIBERO and LIBERO-Plus, respectively. We additionally validate ME-U0 on real-world robotic manipulation tasks, demonstrating its effectiveness beyond simulation. Without corresponding downstream supervision, ME-U0 further demonstrates zero-shot subtask prediction, affordance grounding, and visual dynamics on simulated and real-world observations. Overall, ME-U0 combines competitive downstream control performance with transferable task-grounding and visual-dynamics capabilities across simulation and the real world.