World-Env: Leveraging World Model as a Virtual Environment for VLA Post-Training

📄 arXiv: 2509.24948v3 📥 PDF

作者: Junjin Xiao, Yandan Yang, Xinyuan Chang, Ronghan Chen, Feng Xiong, Mu Xu, Wei-Shi Zheng, Qing Zhang

分类: cs.RO

发布日期: 2025-09-29 (更新: 2025-11-01)

🔗 代码/项目: GITHUB

💡 一句话要点

提出World-Env，利用世界模型作为VLA模型后训练的虚拟环境，解决数据稀缺问题。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作模型 世界模型 强化学习 后训练 机器人操作

📋 核心要点

  1. VLA模型在数据稀缺时性能下降，且真实环境交互成本高、风险大，难以进行强化学习后训练。
  2. World-Env利用世界模型构建虚拟环境，通过VLM引导的反射器提供奖励和动作终止信号，实现安全高效的后训练。
  3. 实验表明，World-Env仅需少量专家演示即可显著提升VLA模型在复杂机器人操作任务中的性能。

📝 摘要（中文）

视觉-语言-动作(VLA)模型通过模仿学习训练，但在数据稀缺场景中，由于依赖大规模演示数据集，性能显著下降。虽然基于强化学习(RL)的后训练已被证明能有效解决数据稀缺问题，但其在VLA模型上的应用受到真实环境不可重置性的阻碍。这种限制在工业自动化等高风险领域尤为关键，因为交互通常会导致状态变化，而这些变化的恢复成本高昂或不可行。此外，现有的VLA方法缺乏可靠的任务完成检测机制，导致冗余动作，降低了整体任务成功率。为了解决这些挑战，我们提出了World-Env，一个基于RL的后训练框架，用低成本的、基于世界模型的虚拟模拟器取代物理交互。World-Env包含两个关键组件：(1)一个基于视频的世界模拟器，生成时间上一致的未来视觉观察；(2)一个视觉-语言模型(VLM)引导的即时反射器，提供连续的奖励信号并预测动作终止。这种模拟环境使VLA模型能够安全地探索并泛化到其初始模仿学习分布之外。我们的方法仅需每个任务五个专家演示即可实现显著的性能提升。在复杂的机器人操作任务上的实验表明，World-Env有效地克服了传统VLA模型依赖真实世界交互的数据效率低、安全约束和执行效率低的问题，为资源受限环境中的后训练提供了一种实用且可扩展的解决方案。

🔬 方法详解

问题定义：VLA模型依赖大量演示数据，在数据稀缺场景下泛化能力差。直接在真实环境中进行强化学习后训练成本高昂，且存在安全风险，难以重置环境状态。此外，现有VLA模型缺乏有效的任务完成检测机制，导致动作冗余，效率低下。

核心思路：利用世界模型构建一个虚拟环境，该环境能够模拟真实世界的视觉观察，并提供可重置的状态。通过强化学习在该虚拟环境中进行后训练，可以安全、高效地提升VLA模型的泛化能力和任务完成效率。VLM引导的反射器用于提供奖励信号和预测动作终止，从而解决任务完成检测问题。

技术框架：World-Env框架包含两个主要组件：1) 基于视频的世界模拟器：该模块负责生成时间上一致的未来视觉观察，模拟真实环境的动态变化。2) VLM引导的即时反射器：该模块利用视觉-语言模型，根据当前状态和任务描述，提供连续的奖励信号，并预测动作终止，从而引导强化学习过程。VLA模型在虚拟环境中与环境交互，根据反射器提供的奖励信号进行学习，并不断优化其策略。

关键创新：核心创新在于利用世界模型构建虚拟环境，并结合VLM引导的反射器，实现VLA模型的安全、高效后训练。与传统的强化学习方法相比，World-Env无需与真实环境交互，降低了成本和风险。与现有的VLA方法相比，World-Env能够有效检测任务完成，避免动作冗余。

关键设计：世界模拟器采用基于视频生成的模型，例如变分自编码器(VAE)或生成对抗网络(GAN)，以生成逼真的未来视觉观察。VLM引导的反射器利用预训练的视觉-语言模型，例如CLIP或ALIGN，提取视觉和语言特征，并根据这些特征预测奖励信号和动作终止概率。奖励函数的设计需要仔细考虑，以鼓励模型完成任务并避免不必要的动作。强化学习算法可以选择常见的算法，例如PPO或SAC。

📊 实验亮点

实验结果表明，World-Env仅使用每个任务五个专家演示，即可显著提升VLA模型在复杂机器人操作任务中的性能。与直接在真实环境中进行强化学习相比，World-Env能够更安全、更高效地提升模型性能。此外，World-Env能够有效检测任务完成，避免动作冗余，提高了整体任务成功率。

🎯 应用场景

World-Env可应用于各种需要VLA模型且数据稀缺或环境交互成本高的场景，例如工业自动化、机器人操作、医疗手术等。该方法能够显著降低VLA模型的训练成本和风险，提高其在实际应用中的可靠性和效率。未来，可以将World-Env扩展到更复杂的任务和环境，例如多智能体协作和动态环境。

📄 摘要（原文）

Vision-Language-Action (VLA) models trained via imitation learning suffer from significant performance degradation in data-scarce scenarios due to their reliance on large-scale demonstration datasets. Although reinforcement learning (RL)-based post-training has proven effective in addressing data scarcity, its application to VLA models is hindered by the non-resettable nature of real-world environments. This limitation is particularly critical in high-risk domains such as industrial automation, where interactions often induce state changes that are costly or infeasible to revert. Furthermore, existing VLA approaches lack a reliable mechanism for detecting task completion, leading to redundant actions that reduce overall task success rates. To address these challenges, we propose World-Env, an RL-based post-training framework that replaces physical interaction with a low-cost, world model-based virtual simulator. World-Env consists of two key components: (1) a video-based world simulator that generates temporally consistent future visual observations, and (2) a vision-language model (VLM)-guided instant reflector that provides continuous reward signals and predicts action termination. This simulated environment enables VLA models to safely explore and generalize beyond their initial imitation learning distribution. Our method achieves notable performance gains with as few as five expert demonstrations per task. Experiments on complex robotic manipulation tasks demonstrate that World-Env effectively overcomes the data inefficiency, safety constraints, and inefficient execution of conventional VLA models that rely on real-world interaction, offering a practical and scalable solution for post-training in resource-constrained settings. Our code is available at https://github.com/amap-cvlab/world-env.