Being-M0.7: A Latent World-Action Model for Humanoid Robots
作者: Junpeng Yue, Boyuan Li, Yuxuan Wang, Zepeng Wang, Yuhui Fu, Feiyang Xie, Yu Zhang, Jing Zhang, Xianqi Zhang, Weibo Li, Xiaofei Zheng, Yuming Fang, Jiangxing Wang, Zongqing Lu
分类: cs.RO, cs.CV, cs.LG
发布日期: 2026-10-08
💡 一句话要点
提出Being-M0.7以解决人形机器人运动与操作协调问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 运动与操作 混合模态数据 视觉-运动先验 门控交叉注意 全身命令 预训练 机器人学习
📋 核心要点
- 现有方法在学习人形机器人运动与操作协调能力时受限于稀缺的机器人演示数据，难以有效利用人类运动数据。
- 本文提出的Being-M0.7模型通过混合模态数据的预训练和适应性训练，增强了机器人对未来运动的预测能力。
- 在实验中，Being-M0.7在SIMPLE基准测试中取得了最高的成功率，并在Unitree G1任务中表现出色，显示出显著的性能提升。
📝 摘要（中文）
人形机器人的运动与操作协调需要未来场景演变和全身运动的综合信息，但学习这些能力受到机器人演示稀缺的限制。虽然人类视频和运动数据提供了可扩展的监督，但许多数据仅包含视频或运动，而缺乏配对数据。本文提出了Being-M0.7，一个潜在的世界-动作模型，通过预训练、机器人中期训练和动作后期训练，将从混合模态人类数据中学习的视觉-运动先验转移到人形控制中。我们从超过10,000小时的人类中心数据中整理了一个语料库，整合了视频、运动和配对视频-运动流，以学习互补的视觉动态和全身运动结构。Being-M0.7在SIMPLE基准测试中实现了最高的成功率，并在现实世界的Unitree G1运动-操作任务中与最强基线相匹配。
🔬 方法详解
问题定义：本文旨在解决人形机器人在运动与操作协调中的学习问题，现有方法由于缺乏有效的机器人演示，难以充分利用人类运动数据，导致学习效果不佳。
核心思路：Being-M0.7通过将从人类数据中学习的视觉-运动先验转移到机器人控制中，采用预训练、机器人中期训练和动作后期训练的策略，以增强机器人对未来运动的理解和执行能力。
技术框架：整体架构包括三个主要阶段：预训练阶段利用混合模态数据学习视觉动态和运动结构；中期训练阶段将学习到的先验适应到机器人视角和身体动态；后期训练阶段通过门控交叉注意机制将视觉预测与当前图像和本体感知结合，生成可执行的全身命令。
关键创新：最重要的创新在于通过联合预测未来潜在视觉状态和运动，鼓励视觉表示编码未来运动学，从而有效提升机器人对复杂任务的执行能力。
关键设计：在模型设计中，采用了门控交叉注意机制来整合不同来源的信息，并通过精心设计的损失函数来优化视觉预测与动作执行之间的关系。
🖼️ 关键图片
📊 实验亮点
在实验中，Being-M0.7在SIMPLE基准测试中实现了最高的成功率，超过了其他对比基线，并在现实世界的Unitree G1运动-操作任务中与最强基线相匹配，展示了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过提升人形机器人的运动与操作协调能力，能够在复杂环境中更好地完成任务，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Humanoid loco-manipulation requires coordinated locomotion and manipulation informed by future scene evolution and whole-body motion, yet learning these capabilities is constrained by scarce robot demonstrations. Human video and motion datasets offer scalable supervision, but many contain only video or motion rather than paired video-motion data. Moreover, human motion does not directly specify executable robot actions. We present Being-M0.7, a latent world-action model that transfers visual-motion priors learned from mixed-modality human data to humanoid control through pre-training, robot mid-training, and action post-training. We curate a corpus from more than 10,000 hours of raw human-centric data, integrating video-only, motion-only, and paired video-motion streams to learn complementary visual dynamics and whole-body kinematic structure. Joint prediction of future latent visual states and motion encourages visual representations to encode future kinematics. Robot mid-training adapts this coarse-grained prior to robot viewpoints and body dynamics. During action post-training, an action expert combines visual predictive representations from the frozen, adapted prior with current images and proprioception through gated cross-attention, grounding predictive context in executable whole-body commands. Being-M0.7 achieves the highest aggregate success rate among the compared baselines on SIMPLE and matches the strongest baseline on real-world Unitree G1 loco-manipulation tasks.