Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs

📄 arXiv: 2601.22709v1 📥 PDF

作者: Yanlong Chen, Amirhossein Habibian, Luca Benini, Yawei Li

分类: cs.CV, cs.AI

发布日期: 2026-01-30

备注: This paper is currently under review for the 2026 International Conference on Machine Learning (ICML)

💡 一句话要点

GRACE：面向高效视觉语言模型的置信度蒸馏门控关系对齐量化训练框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 量化感知训练 知识蒸馏 信息瓶颈 关系对齐

📋 核心要点

  1. 现有视觉语言模型部署成本高，量化后精度损失大，量化感知训练(QAT)潜力未被充分挖掘。
  2. GRACE框架统一知识蒸馏和QAT，通过置信度门控蒸馏、关系对齐和自适应控制，在量化约束下保留关键信息。
  3. 实验表明，GRACE的INT4模型性能超越FP16基线，接近教师模型，并显著提升吞吐量和降低内存占用。

📝 摘要（中文）

视觉语言模型(VLM)在多模态任务上表现出色，但部署成本高昂，后训练量化(PTQ)常导致显著的精度损失。尽管具有潜力，VLM的量化感知训练(QAT)仍未得到充分探索。我们提出了GRACE，一个统一知识蒸馏和QAT的框架，遵循信息瓶颈原则：量化约束信息容量，而蒸馏指导在此预算内保留什么。将教师模型视为任务相关信息的代理，我们引入了基于置信度门控的解耦蒸馏来过滤不可靠的监督信号，关系中心核对齐来传递视觉token结构，以及通过拉格朗日松弛的自适应控制器来平衡保真度和容量约束。在LLaVA和Qwen系列的大量基准测试中，我们的INT4模型始终优于FP16基线（例如，LLaVA-1.5-7B在SQA上：70.1 vs. 66.8；Qwen2-VL-2B在MMBench上：76.9 vs. 72.6），几乎与教师模型的性能相匹配。使用真实的INT4内核，我们实现了3倍的吞吐量和54%的内存减少。这种基于原则的框架显著优于现有的量化方法，使GRACE成为资源受限部署的引人注目的解决方案。

🔬 方法详解

问题定义：论文旨在解决视觉语言模型（VLM）在资源受限环境下部署的问题。现有VLM模型参数量大，计算复杂度高，直接部署成本高昂。后训练量化（PTQ）虽然能降低模型大小和计算量，但往往会带来显著的精度损失。量化感知训练（QAT）虽然有潜力，但针对VLM的QAT方法还不够成熟，缺乏有效的方法来平衡量化带来的信息损失和模型性能。

核心思路：论文的核心思路是将知识蒸馏和量化感知训练统一在一个框架下，并遵循信息瓶颈原则。信息瓶颈原则认为，模型应该只保留与任务相关的信息，而丢弃冗余信息。通过知识蒸馏，将教师模型中的知识迁移到量化后的学生模型中，从而弥补量化带来的信息损失。同时，通过置信度门控和关系对齐等技术，进一步提高知识蒸馏的效率和效果。

技术框架：GRACE框架包含三个主要模块：1) 置信度门控解耦蒸馏：用于过滤教师模型中不可靠的监督信号，只保留置信度高的信息进行蒸馏。2) 关系中心核对齐：用于传递视觉token之间的关系结构，帮助学生模型学习到更丰富的视觉信息。3) 自适应控制器：通过拉格朗日松弛来平衡保真度和容量约束，动态调整蒸馏损失的权重。

关键创新：GRACE的关键创新在于：1) 提出了置信度门控解耦蒸馏，有效过滤了不可靠的监督信号，提高了蒸馏效率。2) 引入了关系中心核对齐，将视觉token之间的关系结构迁移到学生模型中，增强了学生模型的视觉理解能力。3) 使用自适应控制器动态平衡保真度和容量约束，使得模型能够在量化约束下达到最佳性能。

关键设计：置信度门控解耦蒸馏使用教师模型的预测置信度作为门控信号，只保留置信度高于阈值的样本进行蒸馏。关系中心核对齐通过计算教师模型和学生模型视觉token之间的核矩阵，并最小化它们之间的差异来实现关系对齐。自适应控制器使用拉格朗日松弛来优化一个目标函数，该目标函数包含保真度损失和容量约束项，通过调整拉格朗日乘子来平衡两者之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GRACE框架在LLaVA和Qwen2-VL等模型上取得了显著的性能提升。例如，在SQA数据集上，GRACE量化后的LLaVA-1.5-7B INT4模型达到了70.1的精度，超过了FP16基线的66.8。在MMBench数据集上，GRACE量化后的Qwen2-VL-2B INT4模型达到了76.9的精度，超过了FP16基线的72.6。此外，GRACE还实现了3倍的吞吐量提升和54%的内存减少。

🎯 应用场景

GRACE框架可广泛应用于资源受限的视觉语言模型部署场景，例如移动设备、边缘计算设备和嵌入式系统。该方法能够显著降低模型的计算复杂度和内存占用，同时保持较高的精度，使得VLM能够在这些平台上高效运行。这为智能助手、图像搜索、视觉问答等应用提供了更广泛的部署可能性。

📄 摘要（原文）

Vision-Language Models (VLMs) achieve strong multimodal performance but are costly to deploy, and post-training quantization often causes significant accuracy loss. Despite its potential, quantization-aware training for VLMs remains underexplored. We propose GRACE, a framework unifying knowledge distillation and QAT under the Information Bottleneck principle: quantization constrains information capacity while distillation guides what to preserve within this budget. Treating the teacher as a proxy for task-relevant information, we introduce confidence-gated decoupled distillation to filter unreliable supervision, relational centered kernel alignment to transfer visual token structures, and an adaptive controller via Lagrangian relaxation to balance fidelity against capacity constraints. Across extensive benchmarks on LLaVA and Qwen families, our INT4 models consistently outperform FP16 baselines (e.g., LLaVA-1.5-7B: 70.1 vs. 66.8 on SQA; Qwen2-VL-2B: 76.9 vs. 72.6 on MMBench), nearly matching teacher performance. Using real INT4 kernel, we achieve 3$\times$ throughput with 54% memory reduction. This principled framework significantly outperforms existing quantization methods, making GRACE a compelling solution for resource-constrained deployment.