Don't Run with Scissors: Pruning Breaks VLA Models but They Can Be Recovered

📄 arXiv: 2510.08464v1 📥 PDF

作者: Jason Jabbour, Dong-Ki Kim, Max Smith, Jay Patrikar, Radhika Ghosal, Youhui Wang, Ali Agha, Vijay Janapa Reddi, Shayegan Omidshafiei

分类: cs.RO, cs.LG

发布日期: 2025-10-09

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

GLUESTICK：一种恢复剪枝VLA模型性能的后处理方法，提升机器人任务安全性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作模型 模型剪枝 模型压缩 机器人学习 后处理方法

📋 核心要点

  1. VLA模型在机器人领域潜力巨大，但模型体积大，难以在资源受限设备上部署。
  2. GLUESTICK通过在剪枝后进行权重空间插值，计算校正项，恢复模型性能。
  3. 实验表明，GLUESTICK在保持内存效率的同时，显著提升了VLA模型在操纵和导航任务中的成功率和安全性。

📝 摘要（中文）

视觉-语言-动作（VLA）模型显著提升了机器人能力，但部署在资源受限的硬件上仍然具有挑战性。剪枝已成为压缩大型语言模型（LLM）的有效方法，但在机器人领域的研究还不够充分。令人惊讶的是，我们发现剪枝VLA模型会导致性能急剧下降，并增加安全违规行为。我们提出了一种名为GLUESTICK的后剪枝恢复方法，该方法在保持稀疏性的同时，恢复了原始模型的大部分功能。我们的方法通过在权重空间中对密集模型和剪枝模型进行一次性插值，计算出一个校正项。在推理过程中，每个剪枝层利用该校正项来恢复损失的能力，且开销极小。GLUESTICK无需额外训练，与剪枝算法无关，并引入了一个超参数来控制效率和准确性之间的权衡。在操纵和导航等不同VLA架构和任务中，GLUESTICK实现了具有竞争力的内存效率，同时显著提高了成功率并减少了安全违规行为。

🔬 方法详解

问题定义：VLA模型在机器人任务中表现出色，但其庞大的规模限制了在资源受限平台上的部署。剪枝是一种有效的模型压缩技术，但直接应用于VLA模型会导致性能显著下降，甚至增加安全风险。现有方法通常需要重新训练或微调剪枝后的模型，计算成本高昂，且难以保证恢复原始模型的性能。

核心思路：GLUESTICK的核心思想是在剪枝后，通过对原始密集模型和剪枝模型进行权重空间插值，计算出一个校正项。该校正项能够补偿剪枝过程中损失的信息，从而恢复模型的性能。这种方法无需额外的训练，计算成本低，且可以有效地恢复原始模型的性能。

技术框架：GLUESTICK是一种后处理方法，可以应用于任何剪枝算法。其主要流程包括：1) 使用任意剪枝算法对VLA模型进行剪枝；2) 在权重空间中，对原始密集模型和剪枝模型进行一次性插值，计算校正项；3) 在推理过程中，每个剪枝层利用该校正项来修正其输出，从而恢复损失的能力。

关键创新：GLUESTICK的关键创新在于提出了一种无需训练的后剪枝恢复方法。与需要重新训练或微调的方法不同，GLUESTICK通过权重空间插值直接计算校正项，避免了大量的计算开销。此外，GLUESTICK与剪枝算法无关，可以灵活地应用于不同的剪枝策略。

关键设计：GLUESTICK的关键设计在于权重空间插值的计算方式。论文使用线性插值，通过一个超参数来控制密集模型和剪枝模型的权重比例。该超参数控制了效率和准确性之间的权衡。此外，校正项被添加到每个剪枝层的输出中，以恢复损失的能力。具体而言，对于第l层，其输出为：output_l = pruned_output_l + correction_l，其中correction_l是基于权重插值计算得到的校正项。

📊 实验亮点

实验结果表明，GLUESTICK能够显著恢复剪枝VLA模型的性能。在操纵任务中，GLUESTICK将成功率提高了高达30%，同时减少了安全违规行为。在导航任务中，GLUESTICK也取得了类似的提升。此外，GLUESTICK在保持竞争力的内存效率的同时，优于其他后剪枝恢复方法，证明了其有效性和实用性。

🎯 应用场景

GLUESTICK具有广泛的应用前景，可以用于提升资源受限平台上的机器人智能水平。例如，它可以应用于无人机、移动机器人、家用机器人等设备，使其能够在计算资源有限的情况下执行复杂的视觉-语言-动作任务，如目标导航、物体操作、人机交互等。该方法还有助于降低机器人系统的功耗和成本，加速机器人在各行各业的普及。

📄 摘要（原文）

Vision-Language-Action (VLA) models have advanced robotic capabilities but remain challenging to deploy on resource-limited hardware. Pruning has enabled efficient compression of large language models (LLMs), yet it is largely understudied in robotics. Surprisingly, we observe that pruning VLA models leads to drastic degradation and increased safety violations. We introduce GLUESTICK, a post-pruning recovery method that restores much of the original model's functionality while retaining sparsity benefits. Our method performs a one-time interpolation between the dense and pruned models in weight-space to compute a corrective term. This correction is used during inference by each pruned layer to recover lost capabilities with minimal overhead. GLUESTICK requires no additional training, is agnostic to the pruning algorithm, and introduces a single hyperparameter that controls the tradeoff between efficiency and accuracy. Across diverse VLA architectures and tasks in manipulation and navigation, GLUESTICK achieves competitive memory efficiency while substantially recovering success rates and reducing safety violations. Additional material can be found at: https://gluestick-vla.github.io/.