SimVLA: Zero-Shot Sim-to-Real VLA Learning for Mobile Manipulation

📄 arXiv: 2610.11248v1 📥 PDF

作者: Kyoungin Baik, Youngwoon Lee

分类: cs.RO

发布日期: 2026-10-08

备注: Project page: https://kyounginbaik.github.io/simvla/

💡 一句话要点

提出SimVLA以解决移动操控中的真实数据采集难题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言代理 移动操控 仿真学习 零-shot迁移 合成数据

📋 核心要点

  1. 现有方法在机器人领域面临真实数据采集成本高、复杂性大的挑战，限制了视觉语言代理的应用。
  2. SimVLA提出了一种基于合成仿真数据的端到端框架，旨在实现移动操控中的零-shot sim-to-real学习。
  3. 实验结果显示，SimVLA在多项移动操控任务中表现优异，超越了基于真实示范训练的策略，展示了仿真的潜力。

📝 摘要（中文）

大规模、多样化的数据集推动了大语言模型（LLMs）和视觉语言模型（VLMs）的成功。然而，机器人领域的视觉语言代理（VLAs）受限于真实数据采集的成本和复杂性。虽然仿真提供了可扩展的替代方案，但在移动操控中的仿真到真实（sim-to-real）VLA学习潜力仍未得到充分探索。我们提出了SimVLA，一个完全基于合成仿真数据训练VLAs的端到端框架。SimVLA首先在两个互补的仿真派生数据集上进行预训练：SimAction和SimVQA。随后，我们在SimAction和SimDeploy的混合数据集上进行后续训练。我们在补货、倒水和清洁等任务上评估SimVLA，并展示其在真实家庭环境中的零-shot迁移能力。SimVLA的表现超越了基于50个真实示范训练的策略，表明仿真可以实现可扩展的移动操控。

🔬 方法详解

问题定义：本论文旨在解决移动操控中视觉语言代理（VLA）对真实数据依赖的问题。现有方法在真实环境中数据采集成本高且复杂，限制了其应用。

核心思路：SimVLA的核心思路是完全基于合成仿真数据进行训练，避免了对真实数据的依赖，从而实现了零-shot的sim-to-real迁移。

技术框架：SimVLA的整体架构包括两个主要阶段：首先在SimAction和SimVQA两个数据集上进行预训练，随后在SimAction和SimDeploy的混合数据集上进行后续训练。

关键创新：SimVLA的主要创新在于利用合成数据进行全面训练，并通过多种形式的监督来提升模型的泛化能力，这与传统依赖真实数据的方法本质上不同。

关键设计：在训练过程中，SimVLA采用了多种损失函数和网络结构设计，以确保模型能够有效学习不同任务的特征，同时优化了仿真环境的多样性和复杂性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SimVLA在补货、倒水和清洁等任务上表现优异，成功实现了在真实家庭环境中的零-shot迁移，超越了基于50个真实示范训练的策略，展示了仿真在移动操控中的可扩展性。

🎯 应用场景

该研究的潜在应用领域包括家庭服务机器人、工业自动化和智能物流等。通过降低对真实数据的依赖，SimVLA可以加速机器人在复杂环境中的部署与应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large-scale, diverse datasets have driven the success of LLMs and VLMs. But VLAs for robotics remain limited by the cost and complexity of real-world data collection. While simulation offers a scalable alternative, its potential for sim-to-real VLA learning in mobile manipulation remains largely underexplored. We introduce SimVLA, an end-to-end framework that trains VLAs entirely on synthetic simulation data without teleoperation for mobile manipulation. SimVLA is first pre-trained on two complementary simulation-derived datasets: SimAction, a large-scale robot action dataset spanning 35 diverse mobile manipulation tasks, generated by composing atomic skills, and SimVQA, which leverages privileged simulator state to provide spatial, geometric, and subtask-level visual-language supervision. We further post-train SimVLA on a mixture of SimAction and SimDeploy, a dataset collected from policy rollouts across diverse simulated environments. We evaluate SimVLA on tasks including restocking, pouring, and cleaning, and show zero-shot transfer to real-world mobile manipulation, including real home environments. SimVLA outperforms policies trained on 50 in-domain real-world demonstrations, suggesting that simulation can enable scalable sim-to-real mobile manipulation. We further demonstrate the value of multiple complementary forms of supervision for effectively leveraging simulation in VLA training.