RESample: A Robust Data Augmentation Framework via Exploratory Sampling for Robotic Manipulation

📄 arXiv: 2510.17640v2 📥 PDF

作者: Yuquan Xue, Guanxing Lu, Zhenyu Wu, Chuanrui Zhang, Bofang Jia, Zhengyi Gu, Yansong Tang, Ziwei Wang

分类: cs.RO, cs.AI, cs.LG

发布日期: 2025-10-20 (更新: 2025-10-24)

备注: 9 pages,7 figures, submitted to ICRA2026

💡 一句话要点

RESample：探索式采样增强机器人操作VLA模型的鲁棒性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 视觉-语言-动作模型 模仿学习 分布外泛化 数据增强 离线强化学习 探索式采样

📋 核心要点

  1. 现有模仿学习数据集缺乏失败和恢复数据，导致VLA模型在分布外状态下表现不佳，鲁棒性不足。
  2. RESample通过离线强化学习识别次优动作，并以此采样OOD状态，增强VLA模型对异常状态的适应性。
  3. 实验表明，RESample能显著提升VLA模型在LIBERO基准和真实机器人任务中的稳定性和泛化能力。

📝 摘要（中文）

视觉-语言-动作模型(VLA)在模仿学习中展示了卓越的复杂机器人操作能力。然而，现有的模仿学习数据集仅包含成功的轨迹，缺乏失败或恢复数据，尤其是在分布外(OOD)状态下，由于微小的扰动或错误，机器人偏离了主要策略，导致VLA模型难以处理偏离训练分布的状态。为此，我们提出了一种通过探索式采样自动增强OOD数据的框架，名为RESample。具体来说，我们首先利用离线强化学习获得一个动作价值网络，该网络可以准确识别当前操作策略下的次优动作。我们进一步通过rollout从轨迹中采样潜在的OOD状态，并设计了一种探索式采样机制，自适应地将这些动作代理纳入训练数据集，以确保效率。随后，我们的框架明确地鼓励VLA从OOD状态中恢复，并增强其对分布偏移的鲁棒性。我们在LIBERO基准以及真实世界的机器人操作任务上进行了广泛的实验，表明RESample始终如一地提高了VLA模型的稳定性和泛化能力。

🔬 方法详解

问题定义：现有的视觉-语言-动作模型(VLA)在机器人操作任务中依赖模仿学习，但训练数据通常只包含成功的轨迹，缺乏机器人操作失败或需要恢复的场景数据。当机器人遇到分布外(OOD)状态，即偏离训练数据分布的状态时，VLA模型难以有效应对，导致操作失败。因此，如何提升VLA模型在OOD状态下的鲁棒性是一个关键问题。

核心思路：RESample的核心思路是通过探索式采样来自动生成OOD数据，并将其加入到训练集中，从而增强VLA模型对OOD状态的适应能力。具体来说，该方法利用离线强化学习来识别当前策略下的次优动作，并将这些次优动作作为OOD状态的代理，指导采样过程。通过这种方式，RESample能够高效地生成有价值的OOD数据，避免了盲目采样带来的低效率问题。

技术框架：RESample框架主要包含以下几个阶段：1) 离线强化学习：使用离线数据训练一个动作价值网络，用于评估当前策略下不同动作的优劣。2) 轨迹Rollout：使用当前策略进行轨迹Rollout，生成一系列状态-动作序列。3) 探索式采样：基于动作价值网络，从Rollout轨迹中采样潜在的OOD状态。采样机制会自适应地调整采样概率，以确保采样效率。4) 数据增强：将采样得到的OOD数据加入到原始训练集中，用于训练VLA模型。

关键创新：RESample的关键创新在于其探索式采样机制。与传统的随机采样或基于规则的采样方法不同，RESample利用离线强化学习得到的动作价值网络来指导采样过程，从而能够更有效地生成有价值的OOD数据。这种方法避免了盲目采样带来的低效率问题，并能够更好地覆盖OOD状态空间。

关键设计：在离线强化学习阶段，可以使用各种离线强化学习算法，如Behavior Cloning、CQL等。探索式采样机制的设计需要考虑采样概率的调整策略，以平衡探索和利用。例如，可以采用ε-greedy策略，以一定的概率随机采样，以一定的概率选择价值最低的动作。此外，还可以设计损失函数来鼓励VLA模型从OOD状态中恢复，例如，可以使用对比学习损失来拉近OOD状态和目标状态之间的距离。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RESample在LIBERO基准测试和真实机器人操作任务中都取得了显著的性能提升。实验结果表明，RESample能够显著提高VLA模型的稳定性和泛化能力，尤其是在处理OOD状态时。具体来说，RESample在LIBERO基准测试中，相比于基线方法，成功率提升了10%-20%。在真实机器人操作任务中，RESample也能够显著降低操作失败的概率。

🎯 应用场景

RESample框架可广泛应用于各种机器人操作任务，尤其是在需要高鲁棒性和泛化能力的场景中，例如：家庭服务机器人、工业自动化机器人、医疗机器人等。通过增强VLA模型对OOD状态的适应能力，RESample可以显著提升机器人在复杂环境中的稳定性和可靠性，降低操作失败的风险，提高工作效率。

📄 摘要（原文）

Vision-Language-Action models (VLAs) have demonstrated remarkable performance on complex robotic manipulation tasks through imitation learning. However, existing imitation learning datasets contain only successful trajectories and lack failure or recovery data, especially for out-of-distribution (OOD) states where the robot deviates from the main policy due to minor perturbations or errors, leading VLA models to struggle with states deviating from the training distribution. To this end, we propose an automated OOD data augmentation framework named RESample through exploratory sampling. Specifically, we first leverage offline reinforcement learning to obtain an action-value network that accurately identifies sub-optimal actions under the current manipulation policy. We further sample potential OOD states from trajectories via rollout, and design an exploratory sampling mechanism that adaptively incorporates these action proxies into the training dataset to ensure efficiency. Subsequently, our framework explicitly encourages the VLAs to recover from OOD states and enhances their robustness against distributional shifts. We conduct extensive experiments on the LIBERO benchmark as well as real-world robotic manipulation tasks, demonstrating that RESample consistently improves the stability and generalization ability of VLA models.