Efficient Quantization-Aware Distillation with Cross-Modal Alignment for Edge Vision-Language Models

📄 arXiv: 2609.16689v1 📥 PDF

作者: Jinwoo Jeon, GyuYeop Do, Yubin Lim, Nam-Joon Kim, Hyun Gon Ryu, Hyuk-Jae Lee, Byung-Jun Lee

分类: cs.CV

发布日期: 2026-09-15

💡 一句话要点

提出统一框架以提高边缘视觉语言模型的量化蒸馏效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 量化蒸馏 边缘计算 视觉语言模型 多模态学习 跨模态对齐

📋 核心要点

  1. 现有方法在边缘设备上部署视觉语言模型时，面临蒸馏与量化优化目标不一致的问题，导致训练效率低下。
  2. 本文提出了一种统一的量化语义蒸馏框架，通过共同优化蒸馏和量化，确保训练过程的一致性和效率。
  3. 实验结果显示，非RGB模态在性能上有显著提升，同时保持了边缘设备的部署效率。

📝 摘要（中文）

大规模视觉语言模型（VLM）如CLIP在开放词汇推理中表现出色，但在资源受限的边缘设备上部署这些能力仍然面临挑战。EdgeVL通过将CLIP表示蒸馏为轻量级多模态编码器，并应用量化感知训练（QAT）来实现高效的开放词汇分类（OVC）。然而，其两阶段优化在蒸馏和QAT上应用不同目标，导致优化不一致和训练效率降低。本文提出了一种针对边缘部署的量化语义蒸馏统一框架，通过在统一的教师锚定框架下共同优化蒸馏和量化，确保在量化下的一致训练，抑制难负样本并扩大决策边际。此外，设计了一种轻量级的跨注意力适配器，通过RGB引导语义转移增强非RGB表示，缩小模态差距。大量实验表明，在保持部署效率的同时，非RGB模态的性能得到了显著提升。

🔬 方法详解

问题定义：本文旨在解决在边缘设备上部署视觉语言模型时，蒸馏与量化优化目标不一致的问题，现有方法在训练效率和性能上存在不足。

核心思路：提出一种统一的框架，通过共同优化蒸馏和量化，确保在量化条件下的一致训练，抑制难负样本并扩大决策边际，从而提高模型性能。

技术框架：整体架构包括教师模型和轻量级的多模态编码器，采用量化感知训练（QAT）和跨注意力适配器，增强非RGB模态的表示能力。

关键创新：最重要的创新在于提出了一个教师锚定的统一框架，能够同时优化蒸馏和量化，解决了现有方法中蒸馏与量化目标不一致的问题。

关键设计：设计了轻量级的跨注意力适配器，通过RGB引导的语义转移来增强非RGB模态的表示，确保了不同模态之间的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，本文方法在非RGB模态上实现了显著的性能提升，相较于基线方法，性能提升幅度达到了X%（具体数据待补充），同时保持了边缘设备的高效部署能力。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在资源受限的边缘设备上，如智能手机、物联网设备和边缘计算平台。通过提高视觉语言模型的部署效率，能够在实时图像理解、智能监控和人机交互等领域发挥重要作用，推动智能设备的智能化进程。

📄 摘要（原文）

Large-scale vision-language models (VLM) such as CLIP enable strong open-vocabulary reasoning, yet deploying these capabilities on resource-constrained edge devices remains challenging. EdgeVL addresses this problem by distilling CLIP representations into lightweight multi-modal encoders and applying quantization-aware training (QAT) for efficient Open-Vocabulary Classification (OVC) on edge hardware. However, its two-stage optimization applies different objectives for distillation and QAT, and contrastive learning is performed within the quantized student space, which can result in inconsistent optimization and reduced training efficiency. Moreover, identical supervision across RGB and non-RGB modalities may lead to modality imbalance. We propose a unified framework for quantized semantic distillation tailored to edge deployment. By jointly optimizing distillation and quantization within a unified teacher-anchored framework, our method ensures consistent training under quantization, suppressing hard negatives and enlarging decision margins. Additionally, we design a lightweight cross-attention adapter that enhances non-RGB representations through RGB-guided semantic transfer, narrowing the modality gap. Extensive experiments demonstrate consistent improvements on non-RGB modalities while maintaining deployment efficiency.