RouteRLT: Learning When and Which RL Specialist Should Control a Vision-Language-Action Policy

📄 arXiv: 2609.26467v1 📥 PDF

作者: Chongyu Zhu, Jaden Hinds, Hyegang Kim, Juan Sebastian Rojas, Ramy Elmallah, Chi-Guhn Lee

分类: cs.RO

发布日期: 2026-09-22

备注: 8 pages, 7 figures, 2 tables. Accepted at the IROS 2026 International Workshop on Industrial Applications of Robot Learning (IARL)

💡 一句话要点

提出RouteRLT以解决视觉-语言-动作模型在精确控制中的挑战

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 强化学习 工业机器人 精确控制 多模态学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在处理精确控制任务时表现不佳，尤其是在接触丰富的工业任务中。
  2. 本文提出RouteRLT框架，通过学习何时以及哪个RL专家应接管通用VLA，来提升精确控制能力。
  3. 实验结果显示，RouteRLT在多物体拾取和真实世界的电缆拾取任务中均表现出显著的性能提升。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在处理复杂的工业任务时表现出广泛的操作能力，但在精确控制阶段常常面临困难。传统方法通常通过强化学习（RL）来细化预训练的VLA，以实现任务特定的改进。然而，如何在保持通用行为的同时，决定何时需要RL细化以及哪个专业策略应当控制仍然是一个未解决的问题。本文提出了RouteRLT，一个学习何时以及哪个RL专家应接管通用VLA的路由框架。通过在LIBERO上进行多物体拾取和放置任务的评估，结果表明，学习的路由在不访问特权阶段边界的情况下，能够超越基础VLA，并在真实机器人评估中验证了自动路由的有效性。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在精确控制阶段的不足，尤其是在工业任务中的表现不佳。现有方法难以在保持通用行为的同时，灵活选择何时使用强化学习细化策略。

核心思路：RouteRLT框架通过引入一个阶段选择器来识别当前控制器，并通过稳定器抑制瞬态切换，从而实现对RL专家的有效控制。

技术框架：整体架构包括三个主要模块：阶段选择器、稳定器和动作边界管理器。阶段选择器负责识别当前需要的控制策略，稳定器确保控制的平稳性，而动作边界管理器处理不同策略输出之间的过渡。

关键创新：RouteRLT的创新在于其学习路由机制，能够在不依赖特权阶段边界的情况下，自动选择合适的RL专家进行控制，从而在精确适应性方面表现优越。

关键设计：在设计中，采用了特定的损失函数来优化阶段选择的准确性，并通过强化学习训练每个专家策略，以确保其在精确控制任务中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RouteRLT在多物体拾取和放置任务中相较于基础VLA有显著提升，且在真实机器人评估中成功实现了对拾取和插入专家的自动路由，验证了其在精确适应性方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括工业自动化、机器人操作和智能制造等。通过提升视觉-语言-动作模型在精确控制任务中的表现，RouteRLT能够显著提高机器人在复杂环境中的操作能力，未来可能推动更多智能机器人在实际工业场景中的应用。

📄 摘要（原文）

Vision-language-action (VLA) models provide broad manipulation competence, but often struggle during the precision-critical stages that dominate contact-rich industrial tasks such as connector insertion and cable management. A common remedy is to refine a pretrained VLA with reinforcement learning (RL), enabling task-specific improvement beyond behavior cloning. However, how to preserve its generalist behavior while deciding when RL refinement is needed and which specialized policy should act remains an open question. In this work, we present RouteRLT, a routing framework that learns when and which RL specialist, an RL policy trained for a single precision-critical phase, should take control from a generalist VLA. A phase selector identifies the active controller, a stabilizer suppresses transient switches, and an action-boundary manager handles transitions between chunked policy outputs. We evaluate RouteRLT on multi-object pick-and-place tasks in LIBERO, as well as on a real-world cable pickup and port-insertion task with multiple precision-critical stages. In simulation, the learned routing improves over the base VLA and matches routing with privileged phase boundaries, without accessing those boundaries at deployment. The real-robot evaluation validates automatic routing to both the pickup and insertion specialists under an operator-aligned handoff protocol. Altogether, these results show that learned routing applies RL specialist control where precise adaptation is most valuable while preserving generalist VLA behavior, including recovery from failed execution attempts.