Accelerating Vision-Language-Action Model Integrated with Action Chunking via Parallel Decoding

📄 arXiv: 2503.02310v1 📥 PDF

作者: Wenxuan Song, Jiayi Chen, Pengxiang Ding, Han Zhao, Wei Zhao, Zhide Zhong, Zongyuan Ge, Jun Ma, Haoang Li

分类: cs.RO, cs.CV

发布日期: 2025-03-04

💡 一句话要点

提出PD-VLA：一种基于并行解码的视觉-语言-动作模型加速框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作模型 机器人操作 动作分块 并行解码 不动点迭代

📋 核心要点

  1. VLA模型集成动作分块后，动作维度线性增长，导致推理效率降低，成为性能瓶颈。
  2. PD-VLA将自回归解码转化为非线性系统，通过并行不动点迭代求解，加速解码过程。
  3. 实验表明，PD-VLA在保持成功率的同时，显著提升了执行频率，并在真实世界任务中表现良好。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在通用机器人操作方面展现出巨大的潜力。通过集成动作分块技术，VLA模型的性能可以得到提升。然而，动作分块会随着分块尺寸的增加而线性增加VLA模型中的动作维度，从而降低推理效率。为了解决这个问题，我们提出了PD-VLA，这是第一个用于集成动作分块的VLA模型的并行解码框架。我们的框架将自回归解码重构为一个非线性系统，并通过并行不动点迭代来求解。这种方法在数学上保证了模型性能的同时，显著提高了解码速度。此外，它无需架构更改即可实现免训练加速，并能与现有的加速技术无缝协同。大量的仿真验证表明，我们的PD-VLA在保持具有竞争力的成功率的同时，在机械臂（具有7个自由度）上的执行频率是基本VLA模型的2.52倍。此外，我们通过实验确定了最有效的加速设置。最后，真实世界的实验验证了其在不同任务中的高适用性。

🔬 方法详解

问题定义：VLA模型通过动作分块提升性能，但动作维度随分块尺寸线性增长，导致推理速度显著下降。现有方法难以在不牺牲性能的前提下，有效加速VLA模型的推理过程，尤其是在高维动作空间中，效率问题尤为突出。

核心思路：PD-VLA的核心在于将VLA模型的自回归解码过程重新建模为一个非线性系统，并利用并行不动点迭代算法来求解该系统。通过这种方式，原本串行的解码过程可以并行化，从而显著提高解码速度。这种设计旨在充分利用现代硬件的并行计算能力，加速推理过程。

技术框架：PD-VLA框架主要包含以下几个阶段：1) VLA模型接收视觉和语言输入，生成初始动作序列预测；2) 将自回归解码过程转化为非线性方程组；3) 使用并行不动点迭代算法求解该方程组，得到优化后的动作序列；4) 将优化后的动作序列传递给机器人执行。整个框架无需修改VLA模型的原始架构，可以无缝集成到现有的VLA系统中。

关键创新：PD-VLA的关键创新在于将自回归解码转化为并行计算问题。与传统的串行解码方法不同，PD-VLA能够同时计算多个时间步的动作，从而显著减少解码时间。此外，该方法无需重新训练模型，即可实现加速，降低了部署成本。

关键设计：PD-VLA的关键设计包括：1) 选择合适的非线性方程组形式，以保证不动点迭代算法的收敛性；2) 设计高效的并行不动点迭代算法，充分利用硬件的并行计算能力；3) 探索不同的迭代停止准则，以在速度和精度之间取得平衡。论文中还实验分析了不同参数设置对加速效果的影响，并给出了最佳实践建议。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PD-VLA在7自由度机械臂上实现了2.52倍的执行频率提升，同时保持了与原始VLA模型相当的成功率。此外，该方法无需重新训练模型，即可实现加速，降低了部署成本。真实世界的实验也验证了PD-VLA在不同任务中的高适用性，证明了其在实际应用中的价值。

🎯 应用场景

PD-VLA具有广泛的应用前景，可应用于各种需要快速响应的机器人操作任务中，例如：工业自动化、医疗机器人、自动驾驶等。通过加速VLA模型的推理速度，可以提高机器人的实时性和效率，使其能够更好地适应复杂多变的环境。此外，该方法还可以应用于其他需要自回归解码的序列生成任务中，例如：自然语言生成、语音合成等。

📄 摘要（原文）

Vision-Language-Action (VLA) models demonstrate remarkable potential for generalizable robotic manipulation. The performance of VLA models can be improved by integrating with action chunking, a critical technique for effective control. However, action chunking linearly scales up action dimensions in VLA models with increased chunking sizes. This reduces the inference efficiency. To tackle this problem, we propose PD-VLA, the first parallel decoding framework for VLA models integrated with action chunking. Our framework reformulates autoregressive decoding as a nonlinear system solved by parallel fixed-point iterations. This approach preserves model performance with mathematical guarantees while significantly improving decoding speed. In addition, it enables training-free acceleration without architectural changes, as well as seamless synergy with existing acceleration techniques. Extensive simulations validate that our PD-VLA maintains competitive success rates while achieving 2.52 times execution frequency on manipulators (with 7 degrees of freedom) compared with the fundamental VLA model. Furthermore, we experimentally identify the most effective settings for acceleration. Finally, real-world experiments validate its high applicability across different tasks.