How (and How Not) to Use Data Augmentation in VLA Post-Training

📄 arXiv: 2610.05994v1 📥 PDF

作者: Bram Grooten, Joaquin Vanschoren

分类: cs.RO, cs.LG

发布日期: 2026-10-05

备注: Accepted at the NeurIPS 2026 workshop RoboPAD. Code and videos at https://bramgrooten.nl/vla-augm/

💡 一句话要点

提出图像增强策略以提升VLA后训练的泛化能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 图像增强 后训练 强化学习 模型泛化 机器人任务 鲁棒性

📋 核心要点

  1. 现有的VLA模型在处理视觉分布外变化时泛化能力不足，影响其在实际应用中的表现。
  2. 本研究提出在强化学习更新中仅增强评论模块，而保持演员输入干净，以提升模型的鲁棒性。
  3. 实验结果表明，针对特定模型的增强策略能显著提高分布外成功率，且不同增强类型的效果各异。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在多种实际机器人任务中表现出色，但在处理大规模视觉分布外变化时仍缺乏泛化能力。通过强化学习（RL）进行VLA的后训练已被证明能增强其鲁棒性，但仍有较大改进空间。本研究系统性地研究了图像增强对VLA后训练的影响，发现仅在RL更新中增强评论模块至关重要，而在回放和更新过程中保持演员输入的干净。对于$π_{0.5}$和GR00T N1.5模型，增强评论模块使得LIBERO-Plus上的分布外成功率分别提高了7.8和10.0个百分点，而增强演员则导致训练完全崩溃。我们调查了一系列增强类型和强度，并提供了改善VLA后训练泛化能力的实用建议。

🔬 方法详解

问题定义：本研究旨在解决视觉-语言-动作（VLA）模型在处理大规模视觉分布外变化时的泛化能力不足问题。现有方法在后训练阶段的图像增强策略未能有效提升模型性能，反而可能导致训练崩溃。

核心思路：论文的核心思路是通过系统性地研究图像增强对VLA后训练的影响，提出仅在评论模块进行增强的策略。这一设计旨在避免对演员输入的干扰，从而保持模型的稳定性和有效性。

技术框架：整体架构包括VLA模型的后训练阶段，主要分为两个模块：演员（Actor）和评论员（Critic）。在RL更新过程中，仅对评论员进行图像增强，而演员的输入保持原始状态。

关键创新：最重要的技术创新在于提出了针对VLA后训练的图像增强策略，强调了增强评论模块而非演员输入的必要性。这一方法与现有的全面增强策略形成鲜明对比，显著提升了模型的鲁棒性。

关键设计：在实验中，研究了多种增强类型和强度，具体参数设置包括增强的幅度和选择的增强方法。通过对比实验，验证了不同设置对模型性能的影响，提供了实用的建议。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，仅增强评论模块使得$π_{0.5}$和GR00T N1.5模型在LIBERO-Plus上的分布外成功率分别提高了7.8和10.0个百分点，而对演员的增强则导致训练崩溃。这一发现为VLA后训练提供了新的思路和实践指导。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能家居等需要视觉理解与决策的任务。通过提升VLA模型的泛化能力，可以增强其在复杂环境中的适应性，推动智能系统的实际应用与发展。

📄 摘要（原文）

Vision-language-action (VLA) models currently demonstrate strong performance in a wide range of real-world robotics tasks. However, they often still lack the generalization ability to handle large visual out-of-distribution shifts. Post-training of VLAs with reinforcement learning (RL) has been shown to benefit robustness, but significant room for improvement remains. In this work, we systematically study the effect of image augmentation on VLA post-training. We find that it is crucial to augment only the critic module during RL updates, while leaving the actor's input clean during both rollouts and updates. For $π_{0.5}$ and GR00T N1.5 this raises out-of-distribution success on LIBERO-Plus by $7.8$ and $10.0$ points respectively, while augmenting the actor collapses training entirely. We investigate a range of augmentation types and strengths, and provide practical recommendations for improving generalization in VLA post-training.