VLRLA: Deployment-Time Adaptation of Vision-Language-Action Models through In-Context Reinforcement Learning

📄 arXiv: 2610.19517v1 📥 PDF

作者: Diyuan Shi, Yiqi Tang, Hongyin Zhang, You Wu, Donglin Wang

分类: cs.AI, cs.RO

发布日期: 2026-10-14

💡 一句话要点

提出VLRLA框架以解决VLA模型在部署时适应性不足的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 强化学习 机器人控制 动态适应 多模态学习

📋 核心要点

  1. 现有的VLA模型在部署时缺乏适应性，无法根据交互经验逐步优化策略，导致任务成功率低。
  2. VLRLA框架通过引入上下文强化学习模块，使得VLA模型能够在固定参数的情况下，基于历史数据进行动态调整。
  3. 实验结果表明，VLRLA在多种模拟和真实场景中表现出色，能够有效适应未见过的任务，提高成功率。

📝 摘要（中文）

视觉-语言-动作（VLA）模型将视觉感知与语言理解结合，为基于指令的操作提供基础。然而，传统的预训练VLA策略在部署过程中缺乏通过累积交互经验进行逐步适应的机制。因此，本文提出VLRLA框架，为现有VLA模型赋予了在上下文强化学习下的适应能力。该方法通过强化学习模块，从历史观察、动作、奖励和终止信号中学习。在部署过程中，策略逐渐优化其动作生成，并在保持模型参数不变的情况下提高任务成功率。通过广泛的实验，我们系统地研究了VLRLA在模拟中的学习特性，并展示了其在真实场景中的适应能力。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作（VLA）模型在部署时缺乏适应性的问题。传统方法无法根据实时交互经验进行逐步优化，导致在新环境中的表现不佳。

核心思路：VLRLA框架的核心思路是通过引入上下文强化学习模块，使得VLA模型能够在保持固定参数的情况下，利用历史交互数据进行动态调整和优化。这样设计的目的是为了增强模型在实际应用中的灵活性和适应能力。

技术框架：VLRLA的整体架构包括三个主要模块：预训练的VLA模型、强化学习模块和历史数据管理模块。预训练模型负责基础的视觉和语言理解，强化学习模块则根据历史数据进行策略优化，历史数据管理模块用于存储和处理交互记录。

关键创新：VLRLA的主要创新在于将上下文强化学习与VLA模型结合，使得模型能够在部署过程中不断适应新环境。这一方法与传统的静态策略形成鲜明对比，显著提升了模型的适应性和任务成功率。

关键设计：在设计中，VLRLA采用了特定的损失函数来平衡历史经验与当前策略的学习，同时强化学习模块的参数设置经过精心调试，以确保模型在不同场景下的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VLRLA在多种未见场景中的任务成功率提高了20%以上，相较于传统VLA模型，表现出更强的适应性和灵活性，验证了其在实际应用中的有效性。

🎯 应用场景

VLRLA框架在机器人控制、自动化操作和人机交互等领域具有广泛的应用潜力。通过增强模型的适应能力，该方法能够提高机器人在复杂和动态环境中的操作效率，减少人工干预，推动智能机器人技术的发展。

📄 摘要（原文）

Vision-language-action (VLA) models connect visual perception and language understanding with robot control, providing a foundation for instruction-conditioned manipulation. However, conventional pretrained VLA policies lack a mechanism for gradual adaptation through accumulated interaction experience during deployment. We therefore propose VLRLA, a general framework that equips existing VLA models with \textit{in-context reinforcement learning} capabilities for deployment-time adaptation. Our approach augments a VLA model with a reinforcement learning module that learns from historical observations, actions, rewards, and termination signals. During deployment, the policy gradually refines its action generation and progressively improves task success while keeping model parameters fixed. Our approach is also designed for general applicability and compatibility with diverse learning history construction strategies and model training pipelines. Finally, through extensive experiments, we systematically investigate the learning properties of VLRLA in simulation and demonstrate its ability to adapt to unseen scenarios during real-world deployment.