VLA-ZO: Fast Zeroth-Order Adaptation for Vision-Language-Action Models

📄 arXiv: 2610.06271v1 📥 PDF

作者: Jaemin Kim, Jiahn Kim, Taesik Gong

分类: cs.RO, cs.AI

发布日期: 2026-10-05

💡 一句话要点

提出VLA-ZO以解决视觉-语言-动作模型适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 零阶优化 机器人适应 动态环境 资源高效

📋 核心要点

  1. 现有的一阶适应方法在内存使用上存在限制，难以满足推理平台的需求。
  2. VLA-ZO框架通过固定视觉-语言前缀并重用状态，显著提高了适应速度。
  3. 实验结果显示，VLA-ZO在适应时间和任务成功率上均有显著提升。

📝 摘要（中文）

适应视觉-语言-动作（VLA）模型在部署时的分布变化对于可靠的机器人操作至关重要，但传统的一阶适应可能超出推理平台的内存预算。零阶（ZO）优化提供了一种仅前向的替代方案，但准确的梯度估计需要大量扰动查询，使得对于大型VLA模型的简单ZO方法变得极其缓慢。我们提出了VLA-ZO，一个快速的ZO适应框架，利用了VLA计算的结构。通过将适应限制在动作侧，VLA-ZO保持了昂贵的视觉-语言前缀不变，并在扰动查询和优化步骤之间重用其条件状态，同时调度感知的预取隐藏了状态传输的开销。在LIBERO相机视角变化的实验中，VLA-ZO在q=16时将端到端适应时间减少了25.59倍，在q=64时减少了32.54倍，同时将平均任务成功率从48.27%提升至58.17%和63.58%。这些结果表明，加速ZO可以使更大的查询预算变得可行，为资源高效的VLA适应提供了有希望的路径。

🔬 方法详解

问题定义：本论文旨在解决视觉-语言-动作（VLA）模型在部署时适应分布变化的问题。现有的一阶适应方法在内存使用上存在限制，导致在推理平台上难以有效应用。

核心思路：VLA-ZO框架的核心思路是通过将适应过程限制在动作侧，保持视觉-语言部分不变，从而减少内存开销并加快适应速度。这样的设计使得在进行扰动查询时，可以重用先前的状态，避免重复计算。

技术框架：VLA-ZO的整体架构包括三个主要模块：固定的视觉-语言前缀、动态的动作适应模块和调度感知的状态预取机制。视觉-语言前缀在适应过程中保持不变，而动作适应模块则根据扰动进行调整。状态预取机制则通过提前加载所需状态来减少延迟。

关键创新：VLA-ZO的主要创新在于通过将适应限制在动作侧并重用状态，显著提高了零阶优化的效率。这一方法与传统的ZO方法相比，能够在保持性能的同时，显著降低适应时间。

关键设计：在设计中，VLA-ZO采用了调度感知的状态预取策略，以减少状态传输的开销。此外，参数设置方面，扰动查询的数量q被调整为16和64，以评估不同条件下的适应效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO相机视角变化的实验中，VLA-ZO在q=16时将端到端适应时间减少了25.59倍，在q=64时减少了32.54倍。同时，平均任务成功率从48.27%提升至58.17%和63.58%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动驾驶和人机交互等场景。通过提高视觉-语言-动作模型在动态环境中的适应能力，VLA-ZO能够显著提升机器人在复杂任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Adapting vision-language-action (VLA) models to deployment-time distribution shifts is important for reliable robotic operation, but conventional first-order adaptation can exceed the memory budget of inference-oriented deployment platforms. Zeroth-order (ZO) optimization offers a forward-only alternative with inference-level memory, but accurate gradient estimation requires many perturbation queries, making naive ZO prohibitively slow for large VLA models. We present VLA-ZO, a framework for fast ZO adaptation that exploits the structure of VLA computation. By confining adaptation to the action side, VLA-ZO keeps the expensive vision-language prefix frozen and reuses its conditioning states across perturbation queries and optimizer steps, while schedule-aware prefetching hides state-transfer overhead. On LIBERO camera-viewpoint shifts, VLA-ZO reduces end-to-end adaptation time by 25.59$\times$ at $q=16$ and 32.54$\times$ at $q=64$ relative to baseline ZO, while improving average task success from 48.27% without adaptation to 58.17% and 63.58%, respectively. These results show that making ZO faster can make larger query budgets practical, providing a promising path toward resource-efficient VLA adaptation on deployment platforms.