VLaRL: Augmenting Vision-Language-Action Models with Simulation-Trained Latent-Conditioned Residual RL

📄 arXiv: 2609.30868v1 📥 PDF

作者: Namiko Saito, Kinam Kim, Heecheol Kim, Katsushi Ikeuchi, Yasuyuki Matsushita

分类: cs.RO

发布日期: 2026-09-25

💡 一句话要点

提出VLaRL以解决视觉语言动作模型在真实环境中的执行精度问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作 残差强化学习 模拟训练 潜在条件 机器人操作 真实环境适应

📋 核心要点

  1. 现有的视觉语言动作模型在真实环境中的执行精度不足，尤其是在接触丰富的操作任务中，容易出现错误。
  2. 本文提出VLaRL，通过在模拟环境中训练残差强化学习，避免了在真实环境中进行高成本的RL训练，同时保持VLA模型的冻结状态。
  3. 实验结果显示，VLaRL在所有任务和骨干网络组合中均提高了真实世界的成功率，验证了潜在条件和潜在对齐的重要性。

📝 摘要（中文）

视觉语言动作（VLA）模型能够提供广泛的基于指令的操作行为，但在接触丰富的交互中，其物理执行可能仍然不够精确。残差强化学习（RL）能够在保持VLA不变的情况下纠正这些错误，但在真实机器人上进行RL训练既昂贵又具有安全风险。为此，本文提出了VLA潜在条件残差RL（VLaRL），使得在模拟环境中训练的残差RL能够在真实机器人上部署，而无需进行真实世界的RL或在线适应。VLaRL通过使用VLA的内部视觉-语言潜在表示来条件化残差控制，并作为模拟到真实的转移接口，学习一个轻量级的映射器，将模拟生成的潜在表示转换为真实潜在分布。实验表明，VLaRL在四个接触丰富的操作任务和两个VLA骨干网络中均提高了真实世界的成功率。

🔬 方法详解

问题定义：本文旨在解决视觉语言动作模型在真实环境中执行精度不足的问题。现有方法在接触丰富的操作中容易出现错误，且在真实机器人上进行强化学习训练既昂贵又存在安全风险。

核心思路：VLaRL的核心思路是通过在模拟环境中训练残差强化学习，利用VLA的内部潜在表示来条件化控制，从而实现模拟到真实的转移，而无需在真实环境中进行RL训练。

技术框架：VLaRL的整体架构包括三个主要模块：首先是VLA模型的冻结状态，其次是残差RL的训练模块，最后是轻量级映射器，用于将模拟潜在表示转换为真实潜在分布。

关键创新：VLaRL的主要创新在于使用VLA的内部视觉-语言潜在表示作为残差控制的条件，并通过轻量级映射器实现模拟到真实的转移，这与传统方法依赖于像素级视觉对应的方式有本质区别。

关键设计：在设计中，VLaRL采用了特定的损失函数来优化潜在表示的对齐，同时在网络结构上进行了轻量化设计，以确保在真实环境中高效运行。具体的参数设置和网络结构细节在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VLaRL在四个接触丰富的操作任务中均显著提高了成功率，所有任务和骨干网络组合的成功率均有所提升，验证了潜在条件和潜在对齐在模拟训练残差控制中的重要性。

🎯 应用场景

VLaRL的研究成果具有广泛的应用潜力，尤其是在机器人操作、自动化制造和人机交互等领域。通过提高机器人在复杂环境中的操作精度，VLaRL能够推动智能机器人技术的实际应用，提升其在真实世界中的表现和安全性。

📄 摘要（原文）

Vision-language-action (VLA) models provide broad, instruction-conditioned manipulation behaviors, but their physical execution can remain imprecise during contact-rich interaction. Residual reinforcement learning (RL) can correct such errors while keeping the VLA frozen, but real-robot RL is costly and safety-critical. We propose VLA Latent-Conditioned RL (VLaRL), which enables residual RL for frozen VLAs to be trained in simulation and deployed on real robots without real-world RL or online adaptation. The key challenge is transferring the learned residual policy despite the visual gap between simulation and reality. Rather than requiring pixel-level visual correspondence, VLaRL uses the VLA's internal vision-language latent representation to condition residual control and as the sim-to-real transfer interface, and learns a lightweight mapper that transforms simulation-derived latents toward the real latent distribution. Across four contact-rich manipulation tasks and two VLA backbones, VLaRL improves real-world success in all task-backbone combinations, while controlled ablations demonstrate the importance of both latent conditioning and latent alignment for transferring simulation-trained residual control.