RealMirror: A Comprehensive, Open-Source Vision-Language-Action Platform for Embodied AI

📄 arXiv: 2509.14687v1 📥 PDF

作者: Cong Tai, Zhaoyu Zheng, Haixu Long, Hansheng Wu, Haodong Xiang, Zhengbin Long, Jun Xiong, Rong Shi, Shizhuang Zhang, Gang Qiu, He Wang, Ruifeng Li, Jun Huang, Bin Chang, Shuai Feng, Tao Shen

分类: cs.RO

发布日期: 2025-09-18

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

RealMirror：为具身AI打造的全面开源视觉-语言-动作平台

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身AI 视觉-语言-动作 人形机器人 模拟到真实 零样本迁移

📋 核心要点

  1. 人形机器人VLA研究面临数据获取昂贵、缺乏统一基准、模拟与现实差距大等难题，阻碍了该领域的发展。
  2. RealMirror平台通过低成本数据收集、模型训练和推理系统，以及逼真的模拟环境重建，实现了无需真实机器人的VLA研究。
  3. 该平台提供VLA基准测试，并结合生成模型和3D高斯溅射技术，实现了零样本Sim2Real迁移，提升了模型在真实环境中的泛化能力。

📝 摘要（中文）

针对人形机器人视觉-语言-动作(VLA)领域面临的数据获取成本高、缺乏标准化基准以及模拟与现实世界差距大等挑战，本文提出了RealMirror，一个全面的开源具身AI VLA平台。RealMirror构建了一个高效、低成本的数据收集、模型训练和推理系统，无需真实机器人即可实现端到端的VLA研究。为了促进模型发展和公平比较，还引入了一个专门针对人形机器人的VLA基准，包含多个场景、丰富的轨迹和各种VLA模型。此外，通过集成生成模型和3D高斯溅射来重建逼真的环境和机器人模型，成功演示了零样本Sim2Real迁移，即完全在模拟数据上训练的模型可以在真实机器人上无缝执行任务，无需任何微调。总之，RealMirror统一了这些关键组件，提供了一个强大的框架，显著加速了人形机器人VLA模型的发展。

🔬 方法详解

问题定义：现有的人形机器人VLA研究面临三大痛点：一是数据采集成本高昂，严重依赖真实机器人；二是缺乏统一的评估基准，导致模型难以比较和迭代；三是模拟环境与真实环境存在显著差异，使得在模拟环境中训练的模型难以直接应用于真实机器人。

核心思路：RealMirror的核心思路是构建一个全面的、开源的VLA平台，该平台能够以低成本的方式收集数据、训练模型和进行推理，并提供标准化的评估基准。同时，通过逼真的模拟环境重建技术，弥合模拟与现实之间的差距，实现零样本Sim2Real迁移。

技术框架：RealMirror平台包含以下几个主要模块：1) 数据采集模块：用于高效、低成本地收集VLA数据；2) 模型训练模块：支持各种VLA模型的训练；3) 推理模块：用于在模拟或真实环境中执行VLA任务；4) 基准测试模块：提供标准化的VLA基准，用于评估和比较不同模型的性能；5) 模拟环境重建模块：利用生成模型和3D高斯溅射技术重建逼真的模拟环境。

关键创新：RealMirror的关键创新在于其零样本Sim2Real迁移能力。通过集成生成模型和3D高斯溅射技术，该平台能够重建高度逼真的模拟环境和机器人模型，使得在模拟环境中训练的VLA模型可以直接应用于真实机器人，而无需进行任何微调。这大大降低了VLA模型在真实机器人上的部署成本和难度。

关键设计：在模拟环境重建方面，RealMirror采用了3D高斯溅射技术，能够高效地渲染逼真的场景。在模型训练方面，平台支持各种VLA模型，并提供了丰富的训练数据和评估指标。在零样本Sim2Real迁移方面，平台采用了域适应技术，以减小模拟环境与真实环境之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RealMirror平台成功实现了零样本Sim2Real迁移，在模拟环境中训练的VLA模型可以直接在真实机器人上执行任务，无需任何微调。这一成果表明，通过逼真的模拟环境重建和有效的域适应技术，可以显著降低VLA模型在真实机器人上的部署成本和难度，为VLA技术的实际应用奠定了基础。

🎯 应用场景

RealMirror平台可广泛应用于人形机器人的各种VLA任务，例如家庭服务、工业自动化、医疗辅助等。该平台降低了VLA研究的门槛，加速了相关技术的发展，有望推动人形机器人在实际场景中的广泛应用。未来，RealMirror可以进一步扩展到其他类型的机器人，并支持更复杂的VLA任务。

📄 摘要（原文）

The emerging field of Vision-Language-Action (VLA) for humanoid robots faces several fundamental challenges, including the high cost of data acquisition, the lack of a standardized benchmark, and the significant gap between simulation and the real world. To overcome these obstacles, we propose RealMirror, a comprehensive, open-source embodied AI VLA platform. RealMirror builds an efficient, low-cost data collection, model training, and inference system that enables end-to-end VLA research without requiring a real robot. To facilitate model evolution and fair comparison, we also introduce a dedicated VLA benchmark for humanoid robots, featuring multiple scenarios, extensive trajectories, and various VLA models. Furthermore, by integrating generative models and 3D Gaussian Splatting to reconstruct realistic environments and robot models, we successfully demonstrate zero-shot Sim2Real transfer, where models trained exclusively on simulation data can perform tasks on a real robot seamlessly, without any fine-tuning. In conclusion, with the unification of these critical components, RealMirror provides a robust framework that significantly accelerates the development of VLA models for humanoid robots. Project page: https://terminators2025.github.io/RealMirror.github.io