Towards Deploying VLA without Fine-Tuning: Plug-and-Play Inference-Time VLA Policy Steering via Embodied Evolutionary Diffusion

📄 arXiv: 2511.14178v1 📥 PDF

作者: Zhuo Li, Junjia Liu, Zhipeng Dong, Tao Teng, Quentin Rouxel, Darwin Caldwell, Fei Chen

分类: cs.RO, cs.AI

发布日期: 2025-11-18

备注: 9 pages, 8 figures, submitted to IEEE RA-L

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出VLA-Pilot，无需微调即可实现VLA模型在机器人操作任务中的即插即用策略引导。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉-语言-动作模型 机器人操作 零样本学习 策略引导 扩散模型

📋 核心要点

  1. 预训练VLA策略在下游任务中性能下降明显，而微调成本高昂，限制了其在实际机器人应用中的部署。
  2. VLA-Pilot通过推理时策略引导，无需额外数据或微调，即可提升预训练VLA模型在下游任务中的性能。
  3. 实验表明，VLA-Pilot显著提高了VLA策略在不同机器人平台和任务上的成功率，实现鲁棒的零样本泛化。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在现实世界机器人操作中展现出巨大潜力。然而，预训练的VLA策略在下游部署中仍然面临严重的性能下降。虽然微调可以缓解这个问题，但它依赖于昂贵的演示数据收集和大量的计算，这在实际环境中是不切实际的。本文介绍VLA-Pilot，一种即插即用的推理时策略引导方法，用于预训练VLA的零样本部署，无需任何额外的微调或数据收集。我们在两个不同的机器人平台上，针对六个真实世界的下游操作任务评估了VLA-Pilot，涵盖了分布内和分布外场景。实验结果表明，VLA-Pilot显著提高了现成的预训练VLA策略的成功率，从而实现了对各种任务和平台的鲁棒零样本泛化。

🔬 方法详解

问题定义：现有预训练的视觉-语言-动作（VLA）模型在部署到新的机器人操作任务时，即使是相似的任务，也会出现显著的性能下降。传统的微调方法虽然可以解决这个问题，但是需要大量的任务相关数据和计算资源，这在实际应用中往往是不可行的，尤其是在需要快速部署和适应新环境的情况下。因此，如何在不进行微调的情况下，提升VLA模型在下游任务中的性能，是一个亟待解决的问题。

核心思路：VLA-Pilot的核心思路是在推理阶段，通过进化策略引导VLA模型的动作输出。具体来说，它利用一个扩散模型来生成候选动作序列，然后使用VLA模型对这些动作序列进行评估，选择能够最大化任务奖励的动作序列。这种方法不需要任何额外的训练数据，只需要利用预训练VLA模型的能力，就可以在新的任务中找到合适的动作策略。

技术框架：VLA-Pilot主要包含两个核心模块：1) 扩散模型：用于生成候选动作序列。该扩散模型以当前状态和目标为条件，生成一系列可能的动作序列。2) 策略评估模块：使用预训练的VLA模型对生成的动作序列进行评估，并根据评估结果选择最优的动作序列。整个流程可以概括为：输入当前状态和目标 -> 扩散模型生成候选动作序列 -> VLA模型评估动作序列 -> 选择最优动作 -> 执行动作 -> 重复上述过程。

关键创新：VLA-Pilot的关键创新在于将进化策略与扩散模型相结合，实现了一种无需微调的策略引导方法。与传统的微调方法相比，VLA-Pilot不需要任何额外的训练数据，只需要利用预训练VLA模型的能力，就可以在新的任务中找到合适的动作策略。与传统的进化策略相比，VLA-Pilot利用扩散模型生成候选动作序列，可以更有效地探索动作空间，从而提高策略的性能。

关键设计：扩散模型的设计至关重要，它需要能够生成多样且合理的动作序列。论文中使用的扩散模型以当前状态和目标为条件，通过迭代去噪过程生成动作序列。VLA模型的评估函数也需要精心设计，以准确反映动作序列的优劣。论文中使用的评估函数基于VLA模型的预测奖励，并结合了一些启发式规则，以提高评估的准确性。此外，进化策略的参数设置，如种群大小和迭代次数，也会影响最终的策略性能。

📊 实验亮点

VLA-Pilot在六个真实世界的机器人操作任务中进行了评估，包括抓取、放置和组装等任务。实验结果表明，VLA-Pilot显著提高了预训练VLA策略的成功率，平均提升幅度超过20%。此外，VLA-Pilot在分布外任务中也表现出良好的泛化能力，表明该方法具有很强的鲁棒性。

🎯 应用场景

VLA-Pilot具有广泛的应用前景，可以应用于各种机器人操作任务，例如家庭服务机器人、工业机器人和医疗机器人。该方法可以帮助机器人快速适应新的任务和环境，提高机器人的自主性和智能化水平。此外，VLA-Pilot还可以应用于虚拟环境中的机器人训练，通过模拟真实世界的场景，提高机器人的泛化能力。

📄 摘要（原文）

Vision-Language-Action (VLA) models have demonstrated significant potential in real-world robotic manipulation. However, pre-trained VLA policies still suffer from substantial performance degradation during downstream deployment. Although fine-tuning can mitigate this issue, its reliance on costly demonstration collection and intensive computation makes it impractical in real-world settings. In this work, we introduce VLA-Pilot, a plug-and-play inference-time policy steering method for zero-shot deployment of pre-trained VLA without any additional fine-tuning or data collection. We evaluate VLA-Pilot on six real-world downstream manipulation tasks across two distinct robotic embodiments, encompassing both in-distribution and out-of-distribution scenarios. Experimental results demonstrate that VLA-Pilot substantially boosts the success rates of off-the-shelf pre-trained VLA policies, enabling robust zero-shot generalization to diverse tasks and embodiments. Experimental videos and code are available at: https://rip4kobe.github.io/vla-pilot/.