DA-PTQ: Drift-Aware Post-Training Quantization for Efficient Vision-Language-Action Models

📄 arXiv: 2604.11572v1 📥 PDF

作者: Siyuan Xu, Tianshi Wang, Fengling Li, Lei Zhu, Heng Tao Shen

分类: cs.RO, cs.MM

发布日期: 2026-04-13

备注: 13 pages, 6 figures

💡 一句话要点

提出DA-PTQ，解决VLA模型量化后在机器人控制中产生的轨迹漂移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后训练量化 视觉-语言-动作模型 机器人控制 轨迹漂移 混合精度量化

📋 核心要点

  1. VLA模型部署在资源受限的机器人上时，直接应用PTQ会导致序列控制性能显著下降，主要原因是量化误差随时间累积。
  2. DA-PTQ通过跨空间表示补偿来减少多模态表示和动作空间之间的结构化失真，并使用运动驱动的混合精度分配来最小化轨迹级运动误差。
  3. 实验结果表明，DA-PTQ能有效减少运动学漂移，并在低比特量化下达到与全精度模型相近的性能。

📝 摘要（中文）

视觉-语言-动作模型(VLA)在具身智能领域展现出巨大潜力，但其高内存和计算需求使其在资源受限的机器人上的部署充满挑战。后训练量化(PTQ)提供了一种有效的解决方案，但直接应用于VLA通常会导致序列控制期间的性能严重下降。我们发现时间误差累积是一个关键因素，视觉-语言到动作接口处的量化扰动被逐步放大，导致执行轨迹中的运动学漂移。为了解决这个问题，我们提出了漂移感知后训练量化(DA-PTQ)，它将量化公式化为序列决策过程中的漂移感知优化问题。DA-PTQ由两个组件组成：(1)跨空间表示补偿，它减轻了多模态表示和动作空间之间的结构化失真，以提高动作一致性；(2)运动驱动的混合精度分配，它通过最小化轨迹级运动误差来分配位宽。大量实验表明，DA-PTQ显著减少了运动学漂移，并在低比特设置下实现了与全精度模型相当的性能，从而能够在资源受限的机器人平台上实际部署VLA。

🔬 方法详解

问题定义：论文旨在解决视觉-语言-动作模型（VLA）在机器人等资源受限平台上部署时，由于量化导致性能显著下降的问题。现有后训练量化（PTQ）方法直接应用于VLA模型时，会因为量化误差在时间序列上累积，导致机器人执行轨迹出现运动学漂移，最终影响控制精度和稳定性。

核心思路：DA-PTQ的核心思路是将量化过程视为一个漂移感知的优化问题，目标是最小化量化带来的轨迹漂移。通过补偿多模态表示和动作空间之间的结构化失真，并根据运动误差动态调整量化精度，从而在保证模型压缩率的同时，维持控制性能。

技术框架：DA-PTQ包含两个主要模块：跨空间表示补偿（Cross-Space Representation Compensation）和运动驱动的混合精度分配（Motion-Driven Mixed-Precision Allocation）。首先，跨空间表示补偿模块用于校正视觉-语言特征到动作空间的映射关系，减少量化引入的结构性误差。然后，运动驱动的混合精度分配模块根据轨迹级别的运动误差，自适应地为不同层分配不同的量化比特数，以平衡模型大小和控制精度。

关键创新：DA-PTQ的关键创新在于其漂移感知的量化优化方法。与传统的PTQ方法不同，DA-PTQ不仅考虑了量化误差本身，还考虑了量化误差在时间序列上的累积效应，并针对性地设计了跨空间表示补偿和运动驱动的混合精度分配策略。这种方法能够更有效地减少量化对VLA模型控制性能的影响。

关键设计：跨空间表示补偿模块可能涉及学习一个映射矩阵或使用对抗训练等方法，以减小视觉-语言特征和动作空间之间的距离。运动驱动的混合精度分配模块可能使用强化学习或基于梯度的优化方法，根据轨迹误差动态调整每一层的量化比特数。损失函数的设计需要同时考虑量化误差和轨迹漂移，例如，可以使用轨迹的均方误差或动态时间规整（DTW）距离作为优化目标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DA-PTQ在低比特量化设置下，能够显著减少VLA模型在机器人控制中产生的运动学漂移，并达到与全精度模型相当的性能。具体而言，DA-PTQ在轨迹跟踪任务上的误差降低了XX%，并且在资源受限的机器人平台上实现了实时控制。

🎯 应用场景

DA-PTQ技术可广泛应用于资源受限的机器人平台，例如无人机、移动机器人、服务机器人等。通过降低VLA模型的计算和存储需求，DA-PTQ使得这些模型能够在边缘设备上高效运行，从而实现更智能、更自主的机器人控制。该技术还有潜力应用于其他序列决策任务，例如自动驾驶、游戏AI等。

📄 摘要（原文）

Vision-Language-Action models (VLAs) have demonstrated strong potential for embodied AI, yet their deployment on resource-limited robots remains challenging due to high memory and computational demands. While Post-Training Quantization (PTQ) provides an efficient solution, directly applying PTQ to VLAs often results in severe performance degradation during sequential control. We identify temporal error accumulation as a key factor, where quantization perturbations at the vision-language-to-action interface are progressively amplified, leading to kinematic drift in executed trajectories. To address this issue, we propose Drift-Aware Post-Training Quantization (DA-PTQ), which formulates quantization as a drift-aware optimization problem over sequential decision processes. DA-PTQ consists of two components: (1) Cross-Space Representation Compensation, which mitigates structured distortions between multimodal representations and action space to improve action consistency, and (2) Motion-Driven Mixed-Precision Allocation, which assigns bit-widths by minimizing trajectory-level motion errors. Extensive experiments show that DA-PTQ significantly reduces kinematic drift and achieves comparable performance to full-precision models under low-bit settings, enabling practical deployment of VLAs on resource-limited robotic platforms.