ExToken: Structured Exploration for Efficient Vision-Language-Action Reinforcement Fine-tuning
作者: Yilun Kong, Yunpeng Qing, Guozheng Ma, Haoyu Wang, Li Shen, Zhi Hou, Dacheng Tao
分类: cs.RO
发布日期: 2026-07-14
💡 一句话要点
提出ExToken以解决VLA-RL框架中的探索停滞问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 视觉-语言-动作 探索策略 机器人操作 样本效率 行为先验 多样化探索
📋 核心要点
- 现有的VLA-RL框架在探索阶段面临停滞，导致样本效率低下，无法充分利用环境交互。
- 论文提出的ExToken框架通过离线示例的行为先验来条件化策略，促进多样化的行为探索。
- 实验结果显示，ExToken在多种机器人操作任务中加速了收敛，提高了任务性能，且在资源受限的情况下表现出色。
📝 摘要（中文）
强化学习（RL）在复杂操作任务中对视觉-语言-动作（VLA）模型的提升潜力显著，但环境交互的高成本限制了其实际可扩展性。本文首先探讨了当前VLA-RL框架中的探索停滞瓶颈，发现轨迹多样性对样本效率的重要性超过了收集回合的数量。基于此，提出了RL探索令牌（ExToken），通过离线示例导出的离散行为先验来条件化VLA策略，从而实现结构化探索。ExToken在回合收集期间通过不同令牌鼓励智能体探索多样化的行为模式，显著提高了状态-动作覆盖率和探索效率。大量实验表明，ExToken在模拟和真实世界的机器人操作任务中加速了收敛，提高了任务性能，并在高度受限的交互预算下展现出强大的鲁棒性。
🔬 方法详解
问题定义：本文旨在解决当前VLA-RL框架中的探索停滞问题，现有方法在环境交互中未能有效利用轨迹多样性，导致样本效率低下。
核心思路：ExToken通过引入离线示例导出的行为先验，条件化VLA策略，以促进智能体在探索阶段的多样化行为，从而提高样本效率。
技术框架：ExToken的整体架构包括离线示例的行为先验提取、策略条件化和状态条件的令牌选择器。该框架在回合收集期间使用不同的令牌来引导智能体探索。
关键创新：ExToken的核心创新在于通过行为先验的条件化设计，显著提高了探索效率和状态-动作覆盖率，这与传统方法依赖于回合数量的策略形成鲜明对比。
关键设计：在设计中，ExToken使用了状态条件的令牌选择器，以适应未见场景的有效行为模式预测，确保在训练与推理阶段的有效连接。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ExToken在多个机器人操作任务中显著加速了收敛速度，任务性能提升幅度达到20%以上，并在高度受限的交互预算下展现出优异的鲁棒性，优于现有基线方法。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和人机交互等。通过提高VLA模型在复杂任务中的表现，ExToken能够为智能机器人提供更高效的学习和操作能力，推动智能系统在实际应用中的普及与发展。
📄 摘要（原文）
Reinforcement Learning (RL) has demonstrated significant potential for improving Vision-Language-Action (VLA) models on complex manipulation tasks. However, its practical scalability remains severely limited by the substantial cost of environmental interactions. In this work, we first investigate the exploration stagnation bottleneck in current VLA-RL frameworks and reveal that trajectory diversity is fundamentally more important to sample efficiency than the sheer quantity of collected rollouts. Motivated by these insights, we introduce RL Exploration Token (ExToken), a simple yet general framework that condition VLA policies on discrete behavioral priors derived from offline demonstrations for structured exploration. By conditioning the policy on different tokens during rollout collection, ExToken encourages the agent to explore diverse behavioral modes, substantially improving state-action coverage and exploration efficiency. To bridge exploration during training with deterministic inference at deployment, ExToken further incorporates a state-conditioned token selector that adaptively predicts effective behavioral modes for unseen scenarios. Extensive experiments across simulated and real-world robotic manipulation tasks demonstrate that ExToken consistently accelerates convergence, improves task performance, and exhibits strong robustness under highly constrained interaction budgets.