DVTR-KD: Distilling Vision-Language Models via Intermediate Visual Token Reconstruction

📄 arXiv: 2610.17853v1 📥 PDF

作者: Haolan Wei, Jiahui Wang, Junli Zha, Xinkai Lu, Yunxiao Zou, Chao Zhou, Xiang Song

分类: cs.CV

发布日期: 2026-10-13

💡 一句话要点

提出DVTR-KD以解决多模态模型蒸馏效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 知识蒸馏 视觉token重建 边缘计算 模型压缩 响应预测 注意力机制

📋 核心要点

  1. 现有的多模态大型语言模型在边缘设备上的部署受到计算资源限制，知识蒸馏方法面临token数量不匹配的挑战。
  2. DVTR-KD框架通过重建教师模型的密集视觉token，采用响应预测而非直接的token匹配来进行知识转移。
  3. 在多项基准测试中，DVTR-KD显著提升了token压缩学生模型的性能，同时保持了推理效率。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在多种视觉-语言任务上表现出色，但其计算需求限制了在边缘设备上的部署。许多研究集中在知识蒸馏（KD）上，试图将强大的教师模型的知识转移到学生模型中。除了减少模型大小，视觉token压缩提供了一种补充的效率途径，但引入了不匹配的视觉token数量，复杂化了直接的token级知识转移。为此，本文提出了基于密集视觉token重建的知识蒸馏框架DVTR-KD，该框架通过重建教师的密集视觉token来缓解这一问题。实验结果表明，DVTR-KD在保持视觉token压缩带来的推理效率的同时，提升了token压缩学生模型的性能。

🔬 方法详解

问题定义：本文旨在解决多模态大型语言模型在边缘设备上部署时的计算资源限制，现有知识蒸馏方法在token数量不匹配时难以有效转移知识。

核心思路：DVTR-KD框架通过重建教师模型的密集视觉token，采用教师的响应预测作为监督，而非直接的token级KL或MSE匹配，从而提高知识转移的有效性。

技术框架：该框架包括两个主要阶段：首先在最终的LLM层之后重建视觉状态，其次在一个被识别为重要的中间层进行重建，利用教师的响应预测进行监督。

关键创新：DVTR-KD的创新在于通过视觉token重建来解决token数量不匹配的问题，并引入辅助的注意力读出损失，以对齐学生和教师在响应预测时的上下文信息整合方式。

关键设计：论文中设计了响应预测的监督机制，结合了辅助的注意力读出损失，以确保学生模型在整合上下文信息时与教师模型保持一致。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，DVTR-KD在多个基准测试中显著提升了token压缩学生模型的性能，具体提升幅度达到X%（具体数据需根据实验结果填入），同时保持了推理效率，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括边缘计算设备上的多模态应用，如智能手机、物联网设备等，能够在资源受限的环境中实现高效的视觉-语言任务处理。未来，该方法可能推动更多轻量级模型的开发，促进多模态技术的普及。

📄 摘要（原文）

Multimodal large language models (MLLMs) have achieved strong performance on diverse vision-language tasks, but their computational demands limit deployment under constrained budgets, particularly on edge devices. Many works focus on Knowledge Distillation (KD) and try to transfer knowledge from powerful teacher models to students. In addition to reducing model size, visual token compression provides a complementary route to efficiency, but introduces mismatched visual token counts that complicate direct token-wise knowledge transfer. To mitigate this, we propose DVTR-KD, a knowledge distillation framework based on \textbf{D}ense \textbf{V}isual \textbf{T}oken \textbf{R}econstruction, which reconstructs the teacher's dense visual tokens from the student's compressed tokens. We reconstruct visual states after the final LLM layer and at the input to an intermediate layer identified as important for visual-information readout. At the intermediate layer, reconstruction is supervised through the teacher's response predictions rather than by direct token-wise KL or MSE matching. An auxiliary attention-readout loss complements this response-level supervision by aligning how the student and the original teacher integrate contextual information when predicting responses. Evaluations on diverse benchmarks demonstrate that DVTR-KD improves the performance of token-compressed students while retaining the inference efficiency afforded by visual token compression.