Many Ways to Succeed: Diversity-Driven RL Fine-Tuning for VLA Generalization

📄 arXiv: 2610.09943v1 📥 PDF

作者: Haoru Li, Jinmei Liu, Zhiyong Wang, Xiaoming Li, Zhenhong Sun, Daoyi Dong, Chunlin Chen, Zhi Wang

分类: cs.RO, cs.LG

发布日期: 2026-10-07

💡 一句话要点

提出DRIVE以解决VLA政策泛化不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 视觉-语言-动作 多样性驱动 泛化能力 机器人控制 内在奖励机制

📋 核心要点

  1. 现有的强化学习微调方法在泛化能力上存在局限，尤其是在微调分布之外的任务表现不佳。
  2. 论文提出DRIVE，通过将成功行为的多样性作为强化学习的明确目标，促进更广泛的有效解覆盖。
  3. 实验结果显示，DRIVE在多个基准上显著提高了平均OOD性能，验证了其在实际部署中的有效性。

📝 摘要（中文）

强化学习（RL）微调通过闭环经验改善视觉-语言-动作（VLA）策略，但在微调分布之外的泛化能力仍然有限。我们的分析揭示了探索的选择性重塑：RL在全局上收缩行为，但多样化成功轨迹，利用更少的回合实现成功，并覆盖比监督微调更多的潜在任务有效解空间。基于此，我们提出了DRIVE（多样性驱动的RL微调），将成功行为的多样性转化为明确的RL目标。DRIVE在匹配任务条件下对回合进行分组，比较其轨迹并从相对行为多样性中推导出成功条件内在奖励。该设计鼓励更广泛的可行解覆盖，而不奖励多样化的失败或表面时间差异。在LIBERO-Plus、ManiSkill3和RoboTwin 2.0上，DRIVE在$π_0$上比传统RL微调提高了5.3分，在$π_{0.5}$上提高了2.0分。在双臂AgileX PiPER-X平台上，DRIVE进一步将平均OOD成功率从64.1%提高到73.3%（+9.2分），显示出在物理部署下的持续增益。

🔬 方法详解

问题定义：本论文旨在解决现有强化学习微调方法在视觉-语言-动作（VLA）任务中的泛化能力不足，尤其是在微调分布之外的表现不佳。现有方法往往无法有效覆盖潜在的任务有效解空间，导致在新环境中的适应性差。

核心思路：论文的核心思路是引入多样性驱动的强化学习微调（DRIVE），将成功行为的多样性转化为强化学习的明确目标。通过对成功轨迹的多样性进行奖励，鼓励算法探索更广泛的有效解，而不是仅仅依赖于传统的成功标准。

技术框架：DRIVE的整体架构包括多个模块：首先，对回合进行分组以匹配任务条件；其次，比较这些回合的轨迹并进行时间对齐；最后，从相对行为多样性中推导出成功条件的内在奖励。该框架通过引导探索过程，促进了成功模式的广泛覆盖。

关键创新：最重要的技术创新点在于将成功行为的多样性作为强化学习的目标，区别于传统方法仅关注成功率。这种设计使得算法能够在面对分布变化时，依然保持较强的适应能力。

关键设计：在参数设置上，DRIVE采用了成功条件内在奖励机制，确保算法不会奖励多样化的失败或表面时间差异。此外，轨迹比较和时间对齐的实现也为算法的有效性提供了保障。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DRIVE在LIBERO-Plus、ManiSkill3和RoboTwin 2.0上，平均OOD性能分别提高了5.3分和2.0分。在双臂AgileX PiPER-X平台上，成功率从64.1%提升至73.3%，增幅达到9.2分，验证了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用场景包括机器人控制、自动驾驶、智能助手等领域，能够在动态和不确定的环境中提高系统的适应性和鲁棒性。未来，DRIVE可能推动更多基于强化学习的多模态系统的发展，提升其在复杂任务中的表现。

📄 摘要（原文）

Reinforcement learning (RL) fine-tuning improves vision-language-action (VLA) policies through closed-loop experience, yet generalization beyond the fine-tuning distribution remains limited. Our analysis reveals a selective reshaping of exploration: RL contracts behavior globally, yet diversifies successful trajectories, elicits success with fewer rollouts, and covers more of the latent task-valid solution space than supervised fine-tuning. Broader successful-mode coverage may provide alternative strategies under distribution shifts. Inspired by this, we introduce DRIVE (Diversity-driven RL fIne-tuning for VLA gEneralization), which turns successful-behavior diversity into an explicit RL objective. DRIVE groups rollouts under matched task conditions, compares their trajectories with temporal alignment, and derives a success-conditioned intrinsic reward from relative behavioral diversity. This design encourages broader coverage of feasible solutions without rewarding diverse failures or superficial timing differences. Across LIBERO-Plus, ManiSkill3, and RoboTwin 2.0, DRIVE improves the average out-of-domain (OOD) performance over vanilla RL fine-tuning by 5.3 points on $π_0$ and 2.0 points on $π_{0.5}$. On a dual-arm AgileX PiPER-X platform, DRIVE further increases average OOD success from 64.1% to 73.3% (+9.2 points), demonstrating gains that persist under physical deployment.