WoVR+: World Model as Reliable Simulator for Versatile VLA Policy Optimization with RL
作者: Shangqing Zhou, Zhennan Jiang, Ning Ma, Xin Fu, Yupeng Zheng, Shuai Tian, Huangrui Li, Jiahao Liu, Chao Yu, Zhongpu Xia, Haoran Li, Dongbin Zhao
分类: cs.RO
发布日期: 2026-10-13
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出WoVR+以解决VLA-RL中的幻觉问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 强化学习 世界模型 多模态学习 长时间任务 策略优化 机器人控制
📋 核心要点
- 现有的动作条件世界模型在VLA-RL中存在幻觉问题，导致策略优化受到误导，影响训练效果。
- WoVR+通过设计与VLA接口对齐的世界模型和改进的想象交互协议，增强了模型的预测能力并减轻幻觉影响。
- 实验结果表明，WoVR+在多个任务上显著提高了成功率，尤其是在长时间任务中的表现提升尤为明显。
📝 摘要（中文）
动作条件的世界模型可以减少在视觉-语言-动作模型（VLA-RL）中进行强化学习时的真实机器人交互成本，但幻觉可能会误导策略优化。将其扩展到更丰富的VLA接口和长时间任务面临空间时间和跨模态一致性、RL中的探索可靠性平衡以及累积回滚错误等挑战。我们提出WoVR+，通过重新设计学习环境和想象交互协议，扩展了WoVR的幻觉感知WM-RL框架：一个与VLA接口对齐的世界模型提供多视角预测和本体更新，同时减轻幻觉影响。分块噪声保持基于流的策略探索，同时限制预测降级的动作抖动。对于长时间任务，阶段局部想象训练结合阶段入口重置、阶段特定奖励、本地时间范围和可控采样，以缩短生成前缀并平衡各阶段的训练。WoVR+在RoboTwin和6个真实机器人任务上成功率分别提高了21.09%和16.7%。长时间手机包装的成功率从30%上升到75%。
🔬 方法详解
问题定义：本论文旨在解决在视觉-语言-动作强化学习中，现有动作条件世界模型所引发的幻觉问题，这些幻觉会误导策略优化，降低训练效果。
核心思路：WoVR+的核心思路是通过重新设计学习环境和想象交互协议，提供一个与VLA接口对齐的世界模型，从而增强模型的多视角预测能力并减轻幻觉的影响。
技术框架：整体架构包括一个与VLA接口对齐的世界模型模块，分块噪声机制，以及阶段局部想象训练策略，确保在长时间任务中有效平衡训练。
关键创新：最重要的创新在于引入了分块噪声以保持流式策略探索，同时限制动作抖动对预测的影响，以及阶段局部想象训练的设计，优化了长时间任务的训练过程。
关键设计：关键设计包括多视角预测机制、本体更新方法、阶段特定奖励的设置，以及可控采样策略，这些设计共同提升了模型的训练效率和效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，WoVR+在RoboTwin和6个真实机器人任务上的成功率分别提高了21.09%和16.7%。在长时间手机包装任务中，成功率从30%显著提升至75%，展现了其在复杂任务中的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动化包装、智能家居等场景，能够有效减少真实交互的成本，提高任务完成的成功率。未来，WoVR+的技术可以推广到更广泛的多模态学习任务中，推动智能系统的自主学习能力。
📄 摘要（原文）
Action-conditioned world models can reduce costly real-robot interaction in reinforcement learning for Vision-Language-Action models (VLA-RL), but hallucinations can mislead policy optimization. Extending them to richer VLA interfaces and long-horizon tasks raises challenges in spatiotemporal and cross-modal consistency, exploration-reliability balance in RL, and compounding rollout errors. We present WoVR+, extending WoVR's hallucination-aware WM-RL framework by redesigning the learned environment and imagined interaction protocol: A VLA-interface-aligned world model provides multi-view prediction and proprioceptive updates while mitigating hallucinations. Chunk-wise noise preserves flow-based policy exploration while limiting prediction-degrading action jitter. For long-horizon tasks, stage-local imagined training combines stage-entry resets, stage-specific rewards, local horizons, and controllable sampling to shorten generated prefixes and balance training across stages. WoVR+ improves success over SFT by 21.09% and 16.7% on RoboTwin and 6 real-robot tasks. Long-horizon phone-packaging success rises from 30% to 75%. Videos are available at https://youmo445.github.io/WoVR_Plus.github.io/.