CHASE-VLA: Post-Training Quantization Framework for Vision-Language-Action Models with Chunk-Aware Scale Estimation

📄 arXiv: 2610.02666v1 📥 PDF

作者: Jin Hyun, Jung Gyu Min, Gyuhyun Jung, Youngjoo Lee

分类: cs.CV

发布日期: 2026-10-02

备注: Accepted at ACCV 2026. 22 pages, including references and supplementary material

💡 一句话要点

提出CHASE-VLA以解决低比特后训练量化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 后训练量化 动态尺度调整 机器人控制 多模态学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在低比特后训练量化中面临激活范围与固定标定尺度不匹配的问题。
  2. CHASE-VLA通过结合生成的动作块和去噪步骤信息，动态调整激活尺度，解决了量化过程中的不匹配问题。
  3. 在LIBERO数据集上，CHASE-VLA实现了97.3%的成功率，并显著减少了量化模型的存储和内存流量。

📝 摘要（中文）

视觉-语言-动作（VLA）模型将视觉观察与语言指令映射到连续的机器人动作，但基于扩散的动作专家（AE）在低比特后训练量化（PTQ）中面临关键挑战。AE在去噪步骤和策略查询中反复调用，固定的标定尺度可能与去噪进程和预期动作的激活范围不匹配。我们提出了CHASE-VLA，这是一种利用来自策略的特定信号的块感知PTQ方法：生成的动作块及其未执行的未来后缀。CHASE-VLA结合先前生成的块作为因果动作上下文与去噪步骤组信息，以适应AE激活尺度，从而实现MLP和注意力投影的W4A4量化，而无需修改预训练策略。在LIBERO上，CHASE-VLA在$π_{0.5}$上实现了97.3%的平均成功率，同时将量化AE线性层的权重存储减少了73.4%。

🔬 方法详解

问题定义：本论文旨在解决视觉-语言-动作模型在低比特后训练量化中，由于固定标定尺度与激活范围不匹配而导致的性能下降问题。现有方法在处理动态变化的激活范围时存在局限性，无法有效适应去噪过程中的变化。

核心思路：CHASE-VLA的核心思想是利用生成的动作块及其未执行的未来后缀，结合去噪步骤的信息，动态调整动作专家的激活尺度。这种方法使得量化过程能够更好地适应模型的实际运行状态，避免了静态尺度匹配的不足。

技术框架：CHASE-VLA的整体架构包括动作块生成、去噪步骤信息提取和激活尺度调整三个主要模块。首先，模型生成当前动作块，然后提取去噪步骤的信息，最后根据这些信息动态调整激活尺度，以实现高效的量化。

关键创新：CHASE-VLA的主要创新在于引入了块感知的动态尺度调整机制，这与传统的静态尺度匹配方法本质上不同。通过利用动作块和去噪步骤信息，模型能够在量化过程中保持高效的性能。

关键设计：在设计中，CHASE-VLA采用了W4A4量化策略，针对MLP和注意力投影进行了优化。此外，模型在量化过程中引入了预测器，确保了在存储节省的同时，预测器的开销不超过1.26%。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO数据集上，CHASE-VLA实现了97.3%的平均成功率，且在量化AE的MLP和注意力投影至W4A4后，恢复了FP16级别的性能。同时，量化模型的权重存储减少了73.4%，内存流量减少了70.9%至71.2%。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动化系统和智能助手等。通过提高视觉-语言-动作模型的量化效率，CHASE-VLA能够在资源受限的环境中实现高效的机器人操作，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision-Language-Action (VLA) models map visual observations and language instructions to continuous robot actions, but a diffusion-based action expert (AE) poses a key challenge for low-bit post-training quantization (PTQ). The AE is repeatedly invoked across denoising steps and policy queries, where fixed calibration scales can be mismatched with activation ranges that vary with denoising progress and intended motion. We propose CHASE-VLA, a chunk-aware PTQ method that exploits a VLA-specific signal readily available from the policy: the generated action chunk, including its unexecuted future suffix. Rather than relying only on static scale matching for AE layers, CHASE-VLA combines the previously generated chunk as causal action context with denoising step group information to adapt AE activation scales. This enables W4A4 quantization of both MLP and attention projections in the repeated AE without modifying the pretrained policy. On LIBERO, CHASE-VLA achieves 97.3% average success rate on $π_{0.5}$ when both MLP and attention projections in the AE are quantized to W4A4, restoring FP16-level performance. CHASE-VLA also reduces the weight storage of the quantized AE linear layers by 73.4% and their single-chunk memory traffic by 70.9% and 71.2% on $π_{0.5}$ and GR00T N1.6, respectively, with a predictor overhead of at most 1.26% of the saved storage.