Xiaomi-Robotics-1: Scaling Vision-Language-Action Models with over 100K Hours of Real-World Trajectories
作者: Xiaomi Robotics Team, Jun Guo, Piaopiao Jin, Jason Li, Peiyan Li, Yingyan Li, Futeng Liu, Wanli Peng, Optimus Qin, Yifei Su, Nan Sun, Qiao Sun, Runze Suo, Heyun Wang, Yunhong Wang, Rujie Wu, Caoyu Xia, Lina Zhang, Jack Zhao, Guoliang Chen, Wenlong Chen, Xinze He, Bin Li, Qing Li, Zhuorong Li, Heng Qu, Wenxuan Song, Diyun Xiang, Yifan Xie, Peiran Xu, Hangjun Ye, Wen Ye, Han Zhao, Quanyun Zhou
分类: cs.RO, cs.CV
发布日期: 2026-07-20
💡 一句话要点
提出Xiaomi-Robotics-1以解决机器人在未知环境中的任务执行问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作模型 机器人操作 自动标注 预训练 后训练 数据扩展 任务适应性
📋 核心要点
- 现有的机器人模型在未知环境中执行复杂任务时，往往缺乏灵活性和适应性。
- Xiaomi-Robotics-1通过两阶段训练方案，结合大量真实操作数据，提升了模型的动作生成能力和任务适应性。
- 实验结果显示，该模型在RoboCasa365和RoboDojo等基准测试中，成功率和平均得分均超越了现有最优方法。
📝 摘要（中文）
我们提出了Xiaomi-Robotics-1，这是一个基础的视觉-语言-动作（VLA）模型，能够（1）根据多样的语言指令在未知环境中执行广泛的移动操作任务，且无需额外调整，(2) 以最小的微调数据高效适应新的下游任务。我们提出了一个包含预训练和后训练的两阶段训练方案。在预训练阶段，我们通过在超过10万小时的真实操作轨迹上进行训练，使模型具备广泛且可泛化的动作生成能力。关键在于，我们开发了一个可扩展的自动标注管道，用自然语言对轨迹片段进行注释，提供丰富且精确的动作学习条件。在后训练阶段，我们旨在将这些能力与机器人实现和人类自然使用的指令对齐。大量实验表明，Xiaomi-Robotics-1在数据规模和模型规模增加时表现出强大的扩展性。
🔬 方法详解
问题定义：本论文旨在解决现有机器人模型在未知环境中执行任务时的灵活性不足和适应性差的问题。现有方法通常依赖于有限的训练数据，难以应对多样化的指令和复杂的操作场景。
核心思路：论文提出的核心思路是通过两阶段训练方案，首先在大规模真实操作数据上进行预训练，赋予模型广泛的动作生成能力，然后通过后训练对模型进行微调，以适应特定的任务和指令。
技术框架：整体架构分为预训练和后训练两个阶段。在预训练阶段，模型通过自动标注的轨迹数据学习动作生成；在后训练阶段，模型与人类指令进行对齐，以提高实际操作的准确性。
关键创新：最重要的技术创新在于开发了一个可扩展的自动标注管道，能够将自然语言与操作轨迹精确对接，从而为模型提供丰富的学习条件。这一方法显著提升了模型的泛化能力。
关键设计：在训练过程中，采用了特定的损失函数来优化动作生成的准确性，同时在网络结构上进行了调整，以适应大规模数据的处理需求。
🖼️ 关键图片
📊 实验亮点
在多个模拟基准测试中，Xiaomi-Robotics-1的表现超越了现有的最优方法。在RoboCasa365中，该模型成功率达到了57.6%，显著高于之前的46.6%；在RoboDojo中，平均得分为20.07，远超之前的13.07，展示了其卓越的性能。
🎯 应用场景
该研究的潜在应用领域包括家庭服务机器人、工业自动化和智能物流等。通过提升机器人在复杂环境中的操作能力，Xiaomi-Robotics-1能够在实际应用中提供更高的灵活性和效率，推动智能机器人技术的进步与普及。
📄 摘要（原文）
We present Xiaomi-Robotics-1, a foundational vision-language-action (VLA) model capable of (1) following diverse language instructions to perform a wide range of mobile manipulation tasks in unseen environments out-of-the-box, and (2) efficiently adapting to novel downstream tasks with minimal fine-tuning data. We propose a two-stage training recipe consisting of pre-training and post-training. During pre-training, we imbue the model with broad and generalizable action-generation capabilities by training on over 100k hours of real-world manipulation trajectories collected via UMI devices. Crucially, we develop a scalable auto-labeling pipeline that annotates trajectory clips with natural languages describing scene state transitions, providing rich and precise conditioning for action learning. During post-training, we aim to align these capabilities with robot embodiments and imperative instructions that humans naturally use to prompt robots. Extensive experiments demonstrate strong scaling behavior. Xiaomi-Robotics-1 consistently improves with increased data scales and model sizes during pre-training. This scaling behavior directly transfers to post-training, where a stronger pre-training model yields better out-of-the-box real-robot performance in unseen environments. Furthermore, Xiaomi-Robotics-1 serves as a strong robot foundation policy that can be efficiently fine-tuned on complex, dexterous tasks with high data efficiency. Across multiple simulation benchmarks, Xiaomi-Robotics-1 outperforms state-of-the-art methods. Notably, it establishes a new state-of-the-art with a 57.6% success rate on RoboCasa365, surpassing the previous best of 46.6%. Furthermore, it achieves an average score of 20.07 on RoboDojo, significantly outperforming the prior state-of-the-art (13.07). Code and model checkpoints will be released. Project page:this https URL