Channel-Wise and Token-Aware Post-Training Quantization for Visual State Space Duality

📄 arXiv: 2609.16656v1 📥 PDF

作者: Jonghyeon Lim, Changhoon Yim

分类: cs.CV

发布日期: 2026-09-15

备注: 10 pages, 6 figures, 5 tables

💡 一句话要点

提出CTOAC方法以解决VSSD低比特量化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 状态空间模型 后训练量化 通道平衡 激活量化 计算机视觉 模型优化 深度学习

📋 核心要点

  1. 现有的VSSD模型在低比特后训练量化方面的表现尚不理想，尤其是在激活量化方面存在显著瓶颈。
  2. 论文提出的CTOAC方法通过学习每个输入通道的裁剪边界，优化了量化过程，旨在提高量化后的模型性能。
  3. 实验结果表明，CTOAC方法在VSSD的多个变体上保持了高准确性，并在COCO和ADE20K数据集上也表现出色。

📝 摘要（中文）

状态空间模型（SSMs），特别是Mamba，已成为注意力架构的高效替代方案，并通过ViM、VMamba和视觉状态空间对偶（VSSD）扩展到视觉领域。然而，VSSD的低比特后训练量化（PTQ）行为仍然不够清晰。通过对VSSD-Tiny进行权重-激活分离，发现激活量化是主要的低比特瓶颈。我们提出了通道平衡输出感知裁剪（CTOAC）方法，通过最小化与相应线性输出相关的通道裁剪边界的重构损失来学习每个输入通道的裁剪边界。该方法在VSSD的不同模型上保持了ImageNet-1K的准确性，并在更激进的精度设置下表现出更强的鲁棒性。

🔬 方法详解

问题定义：本论文旨在解决视觉状态空间对偶（VSSD）模型在低比特后训练量化（PTQ）中的性能瓶颈，尤其是激活量化的不足。现有方法未能有效处理通道间的量化差异，导致模型精度下降。

核心思路：论文提出的CTOAC方法通过最小化与线性输出相关的重构损失，学习每个输入通道的裁剪边界，从而优化量化过程。该方法关注通道间的特征差异，旨在提高量化后的模型鲁棒性。

技术框架：CTOAC方法的整体架构包括对VSSD模型的特定线性层进行量化，保留其他操作的原始精度。主要流程包括输入激活的裁剪边界学习、重构损失的计算及量化实施。

关键创新：CTOAC方法的创新点在于其通道平衡的裁剪策略，能够有效应对通道间的幅度变化和局部极值问题，与传统的全局裁剪方法相比，显著提升了量化后的模型性能。

关键设计：在CTOAC中，损失函数设计为重构损失，关注每个通道的输出特征，确保量化后的输出与原始输出尽可能接近。同时，选择性地量化特定线性层的输入激活，以减少整体精度损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CTOAC方法在VSSD-Tiny、VSSD-Small和VSSD-Base模型上保持了ImageNet-1K的准确性，并在更激进的精度设置下表现出更强的鲁棒性。此外，优化后的RTX 4090配置实现了相较于FP32的1.42倍端到端加速，展示了该方法的实际应用潜力。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的目标检测、实例分割和语义分割等任务。通过优化量化过程，CTOAC方法能够在保持高性能的同时，显著提高模型的推理速度，适用于资源受限的设备和实时应用场景，具有重要的实际价值和未来影响。

📄 摘要（原文）

State space models (SSMs), particularly Mamba, have emerged as efficient alternatives to attention-based architectures and have been extended to vision through ViM, VMamba, and Visual State Space Duality (VSSD). Yet the low-bit post-training quantization (PTQ) behavior of VSSD remains insufficiently understood. A weight-activation split on VSSD-Tiny identifies activation quantization as the dominant low-bit bottleneck, while representative inputs to selected VSSD-backbone linear layers exhibit strong channel-wise magnitude variation and token-localized extremes. We propose the Channel-wise Token-balanced Output-Aware Clipping (CTOAC) method, which learns per-input-channel clipping bounds by minimizing a token-balanced reconstruction loss on the corresponding linear outputs. Only the selected linear layers and their input activations are quantized; other backbone operations retain their original precision. Across VSSD-Tiny, VSSD-Small, and VSSD-Base, the proposed CTOAC method retains ImageNet-1K accuracy and remains substantially more robust than the evaluated baselines at more aggressive precision settings. Applying the same quantization scope to VSSD backbones on COCO and ADE20K preserves strong object detection, instance segmentation, and semantic segmentation performance. An optimized RTX 4090 deployment configuration achieves up to 1.42x end-to-end speedup over FP32.