VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action Models

📄 arXiv: 2609.04355v1 📥 PDF

作者: Chenyu Su, Zhaolong Shen, Yuan Qian, Chen Qian, Rui Zhang, Feng Yan, Weixing Chen, Fei Zhang, Jiamin Wang, Shuang Cong, Weiwei Shang

分类: cs.RO, cs.AI, cs.HC, cs.LG

发布日期: 2026-09-03

备注: 17 pages, 14 figures

💡 一句话要点

提出VLA-Precision以解决视觉-语言-动作模型的精度与效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 强化学习 不对称共同引导 在线学习 机器人操作 高精度任务

📋 核心要点

  1. 现有的视觉-语言-动作模型在精度和重复性任务中表现不佳，尤其是在真实世界的应用中。
  2. VLA-Precision引入不对称共同引导算法，通过快速的行为学习和经验积累来提升策略性能，抑制策略漂移。
  3. 在四种机器人形态下的九个高精度化学任务中，VLA-Precision实现了98.3%的成功率，显著提高了效率。

📝 摘要（中文）

预训练的视觉-语言-动作（VLA）模型在广泛操作中表现出色，但在需要精确性和重复性的任务中仍然不可靠。通过对VLA进行在线强化学习（RL）后训练，能够实现自主的试错改进，但面临两个瓶颈：不可靠的价值信号可能导致策略漂移；大型VLA的开销限制了吞吐量和样本效率。为了解决这些挑战，本文提出了VLA-Precision，一个高效的在线RL框架，采用了不对称共同引导（ACoB）算法和ACoB-Stream架构。ACoB通过时间尺度建立不对称共同引导，快速提升策略性能并增强在线体验质量。实验表明，VLA-Precision在九个高精度化学任务中实现了98.3%的平均成功率。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在真实世界应用中的精度和效率问题，现有方法在不可靠的价值信号和大型模型开销方面存在显著不足。

核心思路：VLA-Precision通过不对称共同引导（ACoB）算法和ACoB-Stream架构来提升在线强化学习的效率，快速改善策略性能并减少策略漂移。

技术框架：整体架构包括ACoB算法和ACoB-Stream模块，前者通过时间尺度的共同引导来优化策略，后者则通过状态解耦和按需流式处理来提高计算效率。

关键创新：ACoB算法的引入是本文的核心创新，通过引导行为学习和全局回报传播来校准价值估计，显著提升了策略的稳定性和效率。

关键设计：设计中采用了闭环的经验-策略架构，确保状态的解耦和流式处理，参数设置和损失函数经过优化以适应大型VLA的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在九个高精度化学任务的实验中，VLA-Precision实现了98.3%的平均成功率，任务完成时间为45.8分钟，且在1.2倍和1.8倍速度下运行，显示出显著的性能提升，优于现有的VLA和RL基线。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化实验室和智能制造等，能够在需要高精度和高效率的任务中发挥重要作用。未来，VLA-Precision可能推动更多复杂任务的自动化和智能化进程，提升各行业的生产力和创新能力。

📄 摘要（原文）

Pretrained vision-language-action (VLA) models enable broad manipulation but remain unreliable in tasks demanding precision and repeatability. Applying real-world online reinforcement learning (RL) to VLA post-training enables autonomous trial-and-error improvement beyond demonstrations alone, but exposes two bottlenecks: 1) unreliable value signals can induce policy drift; 2) large-VLA overhead constrains throughput and sample efficiency. To address these challenges, we present VLA-Precision, an efficient real-world online RL framework featuring the Asymmetric Co-Bootstrapping (ACoB) algorithm and the ACoB-Stream architecture. Specifically, ACoB establishes asymmetric co-bootstrapping across timescales: early intervention-guided behavioral learning rapidly improves policy performance while enhancing online experience quality. As autonomous experience accumulates, global return propagation and local preference ranking progressively calibrate value estimates, yielding relative action advantages for reference-regularized policy improvement while suppressing drift. To enable ACoB on large VLAs, we develop ACoB-Stream, a closed-loop experience--policy architecture that establishes invariant-state decoupling and on-demand streaming as design principles, delivering up to 10.9$\times$ improvements in throughput and computational efficiency. Extensive evaluations on nine high-precision chemistry tasks across four categories and four robot embodiments show that VLA-Precision achieves 98.3\% mean success rate in 45.8 min/task, with 27.6 s episodes running at 1.2$\times$ and 1.8$\times$ the speeds of VLA and RL baselines. Resources are available at https://vla-precision.github.io.