eRLT: Efficient VLA Reinforcement Learning via Action-Relevant Token Routing

📄 arXiv: 2610.00913v1 📥 PDF

作者: Dehao Huang, Jianbang Liu, Jianpan Gao, Chao Tang, Zilang Cen, Zedong Dan, Jiaheng Wang, Tingguang Li, Yue Wang, Hong Zhang

分类: cs.RO

发布日期: 2026-10-01

备注: 21 pages, 9 figures, 8 tables

💡 一句话要点

提出eRLT以解决VLA模型在强化学习中的样本效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 强化学习 样本效率 动态路由 机器人操作 任务特定特征

📋 核心要点

  1. 现有方法在适应冻结的VLA模型时，未能有效提取任务特定的动作相关特征，导致样本效率低下。
  2. 本文提出eRLT，通过动态聚合视觉-语言特征并结合轻量级层路由器，构建有效的状态表示。
  3. 在七个LIBERO和RoboTwin任务中，eRLT的学习曲线AUC提高了23.7%，在真实机器人实验中也显著提升了性能。

📝 摘要（中文）

视觉-语言-动作（VLA）模型为机器人操作提供了强大的行为先验，但将其高效适应于下游任务仍然具有挑战性。现有方法通过在线强化学习（RL）适应冻结的VLA，但其样本效率依赖于状态表示的质量。现有方法使用与VLA无关的视觉编码器或固定压缩的内部VLA表示来构建状态表示，未能有效提取任务特定的动作相关特征。为此，本文提出eRLT，通过在冻结的VLA中路由任务特定的动作相关信息，构建有效的状态表示。实验表明，eRLT在多个任务中显著提高了学习曲线的AUC，展示了其在真实机器人操作中的有效性。

🔬 方法详解

问题定义：本文旨在解决如何高效适应冻结的视觉-语言-动作（VLA）模型以提高样本效率的问题。现有方法依赖于与VLA无关的视觉编码器或固定压缩的内部表示，未能有效提取任务特定的动作相关特征，限制了样本效率。

核心思路：论文提出的eRLT方法通过路由任务特定的动作相关信息，动态聚合视觉-语言特征，构建有效的状态表示。该设计旨在提高下游任务的样本效率和动作价值估计的准确性。

技术框架：eRLT的整体架构包括两个主要模块：学习路由令牌和轻量级层路由器。学习路由令牌在多个深度动态聚合特征，而层路由器将这些聚合的特征汇总为固定维度的RL令牌。

关键创新：eRLT的核心创新在于通过动态路由机制提取任务特定的动作相关特征，与传统方法的固定表示方式形成鲜明对比。这种动态聚合方式显著提高了样本效率。

关键设计：在设计上，路由模块通过专家演示初始化，以捕捉预测专家动作的特征，并通过在线交互中的评论反馈进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在七个LIBERO和RoboTwin任务中，eRLT的学习曲线AUC提升了23.7%。在真实机器人实验中，USB连接器插入任务的AUC提高了108.9%，主板带状电缆插入任务的AUC提高了46.7%，显示出显著的性能优势。

🎯 应用场景

该研究在机器人操作领域具有广泛的应用潜力，尤其是在需要高效学习和适应的任务中，如自动化装配、物体插入等。通过提高样本效率，eRLT能够加速机器人在复杂环境中的学习过程，提升其自主操作能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-Language-Action (VLA) models provide strong behavioral priors for robotic manipulation, yet efficiently adapting them to downstream tasks remains challenging. Recent work addresses this challenge by adapting frozen VLAs through online reinforcement learning (RL), whose sample efficiency depends on the quality of the state representation used by the actor and critic. Existing methods construct such representations either with VLA-independent visual encoders or through fixed compression of internal VLA representations. Neither design explicitly extracts the task-specific action-relevant VLA features most useful for downstream action refinement and action-value estimation, therefore limiting sample efficiency. To address this limitation, we introduce eRLT, which constructs an effective state representation by routing task-specific action-relevant information across both tokens and layers of the frozen VLA. Specifically, learned routing tokens dynamically aggregate visual-language features at multiple depths, while a lightweight layer router combines these summaries into a fixed-dimensional RL token. The routing module is initialized using expert demonstrations to capture features predictive of expert actions and then refined using critic feedback from online interactions for action-value estimation. Across seven LIBERO and RoboTwin tasks, eRLT improves mean normalized learning-curve AUC by up to 23.7% over representative baselines. Real-robot experiments on USB connector insertion and motherboard ribbon-cable insertion further show AUC improvements of 108.9% and 46.7%, respectively, over the strongest baseline.