FoldQuantVLA: Native Low-Bit Quantization of Vision-Language-Action Models via Consistent Folding

📄 arXiv: 2609.24433v1 📥 PDF

作者: Hung T. Ho, Khanh D. Nguyen, Quang D. Nguyen, Thanh Q. Duong, Ngan Le, Meng Guo, Vien A. Ngo, An T. Le

分类: cs.RO, cs.AI, eess.SY

发布日期: 2026-09-21

备注: 8 pages, 5 figures, 7 tables. Code: https://github.com/cair-vinuni/FoldQuantVLA

💡 一句话要点

提出FoldQuantVLA以解决低比特视觉-语言-动作模型的延迟问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低比特量化 视觉-语言-动作 后训练量化 动态量化 机器人控制 TensorRT优化 实时推理

📋 核心要点

  1. 现有低比特视觉-语言-动作模型在推理过程中面临观察到动作的延迟问题，影响机器人行为的实时性。
  2. FoldQuantVLA框架通过后训练量化，结合动态量化和一致的激活表示，避免了策略重训练，从而提升了推理效率。
  3. 实验结果显示，W4A4在多个平台上实现了显著的速度提升，同时保持了高保真度，成功率从80%提升至92.5%。

📝 摘要（中文）

低比特视觉-语言-动作推理必须在减少观察到动作的延迟的同时保持机器人行为的稳定性。我们提出了FoldQuantVLA，这是一个后训练量化框架，通过校准、权重舍入和原生整数执行来保持一致的激活表示。该框架结合了通道缩放和块Hadamard变换与动态每个令牌量化，无需策略重训练。自定义的TensorRT插件在Ada GPU和Jetson AGX Orin上以四比特权重和激活（W4A4）执行语言骨干和迭代动作专家的投影。评估涵盖LIBERO、SimplerEnv和两个机器人平台。在三个GR00T检查点和$π_{0.5}$上，W4A4在Orin上实现了1.20到1.33倍的速度提升，在桌面上实现了1.25到1.52倍的提升。保持语言注意力输出和前馈下投影为八比特（W8A8）提高了所有四个检查点的动作保真度。在四个真实机器人任务中，该配置将观察到的GR00T N1.7成功率从80.0%提升至92.5%，每个配置进行了80次试验，额外的Orin延迟为1毫秒。

🔬 方法详解

问题定义：本论文旨在解决低比特视觉-语言-动作模型在推理过程中存在的延迟问题，现有方法往往无法在保证机器人行为稳定性的同时实现快速推理。

核心思路：FoldQuantVLA框架通过后训练量化技术，保持一致的激活表示，结合动态量化策略，避免了传统方法中需要的策略重训练，从而提高了推理速度。

技术框架：该框架包括三个主要模块：激活校准、权重舍入和整数执行。通过自定义的TensorRT插件，支持在不同硬件平台上高效执行四比特权重和激活的投影。

关键创新：FoldQuantVLA的核心创新在于其动态每个令牌量化和一致的激活表示，这与现有方法的静态量化和重训练策略形成鲜明对比，显著提升了推理效率。

关键设计：在设计中，采用了通道缩放和块Hadamard变换的组合，确保了量化过程中的信息保留，同时在语言骨干和动作专家中实现了四比特的权重和激活处理。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，W4A4在Orin平台上实现了1.20到1.33倍的速度提升，而在桌面平台上则实现了1.25到1.52倍的提升。此外，使用W8A8配置后，四个检查点的动作成功率从80.0%提升至92.5%，显示出显著的性能改进。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在机器人控制、自动化和智能系统等领域。通过提高低比特模型的推理速度和保真度，FoldQuantVLA可为实时决策和交互提供更高效的解决方案，推动智能机器人技术的进步。

📄 摘要（原文）

Low-bit vision-language-action inference must reduce observation-to-action latency while preserving robot behavior. We present FoldQuantVLA, a post-training quantization framework that carries a consistent activation representation through calibration, weight rounding, and native integer execution. It combines channel scaling and block Hadamard transforms with dynamic per-token quantization, without policy retraining. Custom TensorRT plugins execute projections in both the language backbone and iterative action expert with four-bit weights and activations (W4A4) on Ada GPUs and Jetson AGX Orin. Evaluation spans LIBERO, SimplerEnv, and two robot platforms. Across three GR00T checkpoints and $π_{0.5}$, W4A4 achieves $1.20$ to $1.33\times$ speedups over floating-point TensorRT on Orin and $1.25$ to $1.52\times$ on desktop. Retaining language attention-output and feed-forward down projections at eight bits (W8A8) improves held-out action fidelity on all four checkpoints. Across four real-robot tasks, this configuration raises observed GR00T N1.7 success from $80.0\%$ with uniform W4A4 to $92.5\%$ over 80 trials per configuration, with a measured additional Orin latency of 1 ms.