CV-OPD: Contrastive Vision On-policy Distillation

📄 arXiv: 2610.13264v1 📥 PDF

作者: Haowei Wang, Hao Lin, Qi Zhu, Jiayi Ji, Deyi Ji, Liujuan Cao, Rongrong Ji

分类: cs.CV, cs.LG, cs.MM

发布日期: 2026-10-09

备注: 16 pages, 7 figures, contrastive learning for on-policy distillation of VLMs. Computer Vision. Post-training. VLM. LLM

💡 一句话要点

提出CV-OPD以解决视觉语言模型中的蒸馏短路问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉语言模型 在线蒸馏 对比学习 视觉推理 多模态学习

📋 核心要点

  1. 现有的在线蒸馏方法未能有效引导学生模型依赖视觉证据，导致蒸馏后的模型在视觉信息缺失时仍能作出正确回答。
  2. 论文提出了对比视觉在线蒸馏（CV-OPD），通过引入负教师和对比损失，增强了学生模型对视觉内容的关注。
  3. 大量实验表明，CV-OPD显著改善了视觉推理能力，相较于基线方法，性能提升明显。

📝 摘要（中文）

在本研究中，我们提出了对比视觉在线蒸馏（CV-OPD），旨在解决现有在线蒸馏方法在视觉语言模型（VLM）后训练中的不足。我们观察到，尽管相关视觉区域被遮挡或替换为噪声，蒸馏后的VLM仍能准确回答问题。通过定量和定性实验，我们发现现有方法未能有效引导学生模型依赖视觉证据。为此，CV-OPD通过引入负教师和对比发散损失（CDL），增强了优化过程中的视觉约束，从而显著提升了VLM的视觉推理能力。

🔬 方法详解

问题定义：本研究旨在解决现有在线蒸馏方法在视觉语言模型中的短路问题，现有方法未能有效引导学生模型依赖视觉证据，导致模型在视觉信息缺失时仍能作出正确回答。

核心思路：CV-OPD通过引入负教师和对比发散损失（CDL），在优化过程中增强视觉约束，促使学生模型更好地利用视觉信息。

技术框架：CV-OPD的整体架构包括引入正负教师分布的对比，设计对比发散损失（CDL），以及使用差异感知门（DAG）选择视觉相关的token进行优化。

关键创新：CV-OPD的主要创新在于引入负教师和对比损失，改变了学生模型对视觉区域的利用方式，与现有方法相比，增强了视觉证据的依赖性。

关键设计：在损失函数中，设计了对比发散损失（CDL），并通过差异感知门（DAG）在token级和样本级选择视觉相关的token，确保学生模型关注视觉内容。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CV-OPD在多个细粒度视觉基准测试中显著改善了视觉推理能力，相较于传统在线蒸馏方法，性能提升幅度达到XX%，有效缓解了短路问题。

🎯 应用场景

CV-OPD的研究成果可广泛应用于视觉问答、图像描述生成等多模态任务中，提升模型对视觉信息的理解和利用能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

On-policy distillation (OPD) reveals versatility and convenience during VLM post-training, providing dense supervision for student from teacher. However, we observed an anomaly that the distilled VLM could still answer the questions accurately even when the related visual regions were masked or replaced with noise. Building on this observation, our quantitative and qualitative experiments demonstrate that OPD, which uses the answer as a hint, has failed to teach students to genuinely seek out and rely on visual evidence. Our theoretical analysis suggests that this failure arises from a shortcut enabled by the lack of visual constraints during distillation. To address the issue, we introduce Contrastive Vision On-policy Distillation (CV-OPD), which compares teacher distributions induced by positive and negative crops while conditioning on the same student prefix and augments optimization with a margin-based contrastive constraint, which is modulated with discrepancy gating across token and sample level. Specifically, CV-OPD first introduces a negative teacher unrelated to the answer and designs a Contrastive Divergence Loss (CDL) that constrains the feature distribution of student by contrasting the positive and negative teachers, correcting how the student exploits visual regions. The CV-OPD introduces a Discrepancy Aware Gate (DAG) that uses token-level and sample-level discrepancies to select visually relevant tokens for optimization, directing the student's attention toward visual content. Extensive experiments across a broad range of fine-grained visual benchmarks demonstrate that CV-OPD substantially alleviates shortcut and consistently improves the visual reasoning capabilities of existing VLMs.