SPAR: Structural Pruning and Action Recovery for Vision-Language-Action Models

📄 arXiv: 2610.26487v1 📥 PDF

作者: Shenli Zheng, Zhou Fang, Yuan Du, Yijiang Liu, Li Du

分类: cs.RO, cs.AI

发布日期: 2026-10-19

💡 一句话要点

提出SPAR以解决机器人视觉语言动作模型的计算资源瓶颈问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作 模型压缩 强化学习 剪枝技术 机器人操作

📋 核心要点

  1. 现有的视觉语言动作模型在推理时对计算资源的需求过高，导致机器人难以高效执行任务。
  2. SPAR通过结构化剪枝和强化学习相结合的方法，旨在在压缩模型的同时恢复其操作性能。
  3. 实验结果表明，SPAR显著提高了模型的成功率和推理速度，展示了其在实际应用中的潜力。

📝 摘要（中文）

机器人有限的计算资源使得视觉语言动作（VLA）模型的推理需求难以满足。通过激进的压缩来降低这些需求，可能会导致操作性能的显著下降，超出仅通过监督微调所能恢复的范围。本文提出了SPAR（结构化剪枝与动作恢复），该方法通过剪枝感知调优同时剪枝大型语言模型（LLM）主干的隐藏层和前馈中间维度，然后应用强化学习（RL）来恢复策略性能。应用于$π_{0.5}$，SPAR将语言主干参数从2.34B减少到0.09B，整个模型从3.37B减少到1.12B，分别去除约96%和67%的参数。在此压缩水平下，RL将四个LIBERO套件的平均成功率从84.55%提高到93.45%，提升了8.90个百分点。压缩后的策略实现了相较于未剪枝模型的$1.98 imes$推理速度提升。

🔬 方法详解

问题定义：本文旨在解决视觉语言动作模型在机器人应用中由于计算资源限制而导致的推理性能不足的问题。现有方法在进行模型压缩时，往往会导致操作性能的显著下降，无法满足实际需求。

核心思路：SPAR的核心思路是通过结构化剪枝技术减少大型语言模型的参数，同时结合强化学习来恢复因压缩而损失的性能。这种设计旨在在保持模型性能的同时，降低计算资源的消耗。

技术框架：SPAR的整体架构包括两个主要阶段：首先进行剪枝感知调优，针对隐藏层和前馈中间维度进行结构化剪枝；然后应用强化学习对剪枝后的模型进行策略性能恢复。

关键创新：SPAR的主要创新在于将剪枝与强化学习结合，能够有效识别和去除中间维度的冗余，同时通过后续的强化学习恢复操作性能。这一方法与传统的单一剪枝或微调方法有本质区别。

关键设计：在参数设置上，SPAR将语言主干的参数从2.34B压缩至0.09B，整个模型从3.37B压缩至1.12B，去除约96%和67%的参数。此外，强化学习的应用显著提升了模型在LIBERO套件中的成功率。通过这些设计，SPAR实现了高效的模型压缩与性能恢复。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，SPAR在压缩模型的同时，成功将四个LIBERO套件的平均成功率从84.55%提升至93.45%，提升幅度达到8.90个百分点。此外，压缩后的策略实现了相较于未剪枝模型的$1.98 imes$推理速度提升，显示出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化系统和智能助手等，能够显著提升这些系统在资源受限环境下的执行效率。未来，SPAR方法可能推动更广泛的视觉语言动作模型在实际应用中的落地，提升机器人在复杂任务中的表现。

📄 摘要（原文）

The limited onboard computing resources of robots make the inference demands of vision-language-action (VLA) models costly to accommodate. Reducing these demands through aggressive compression, however, can degrade manipulation performance beyond what supervised fine-tuning alone recovers. We present SPAR (Structural Pruning and Action Recovery), which simultaneously prunes the hidden and feed-forward intermediate dimensions of the large language model (LLM) backbone through pruning-aware tuning, then applies reinforcement learning (RL) to recover policy performance. Applied to $π_{0.5}$, SPAR reduces the language backbone from 2.34B to 0.09B parameters and the full model from 3.37B to 1.12B, removing approximately 96% and 67% of their parameters, respectively. At this compression level, RL raises average success across the four LIBERO suites from 84.55% to 93.45%, an 8.90-percentage-point gain. The compressed policy achieves a $1.98\times$ full-policy inference speedup over the unpruned model. These results identify substantial intermediate-dimension redundancy and show that post-pruning RL can recover manipulation performance in compact policies.