Visual Contrastive Self-Distillation

📄 arXiv: 2607.21556v1 📥 PDF

作者: Yijun Liang, Yunjie Tian, Yijiang Li, Yuqi Jia, Furong Huang, Tianyi Zhou, Di Fu

分类: cs.CV, cs.AI

发布日期: 2026-07-23

备注: 15 pages

💡 一句话要点

提出视觉对比自蒸馏方法以简化自蒸馏过程

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉对比自蒸馏 自蒸馏训练 在线自蒸馏 计算机视觉 深度学习

📋 核心要点

  1. 现有的在线自蒸馏方法依赖于教师与学生之间的不对称信息，限制了其应用的灵活性和效率。
  2. 论文提出的视觉对比自蒸馏（VCSD）方法，通过输入条件生成自蒸馏信号，消除了对外部教师和特权答案的需求。
  3. 在ViRL39K数据集上，VCSD在多个模型上均表现出显著提升，例如在Qwen3-VL模型中，七项基准的聚合得分从62.27%提升至67.04%。

📝 摘要（中文）

在这篇论文中，作者提出了一种新的自蒸馏方法——视觉对比自蒸馏（VCSD），旨在简化现有的自蒸馏过程。现有的在线自蒸馏方法依赖于教师与学生之间的不对称信息，而VCSD通过输入条件直接生成自蒸馏信号，消除了对外部教师和特权答案的需求。通过对图像内容的去除，VCSD能够有效地提高学生模型的学习信号，实验结果表明，该方法在多个基准测试中显著优于传统的自蒸馏方法。

🔬 方法详解

问题定义：现有的在线自蒸馏方法（OPSD）需要教师与学生之间的不对称信息，以确保自教师提供的学习信号优于学生。然而，这种依赖限制了方法的灵活性和适用性。

核心思路：论文提出的视觉对比自蒸馏（VCSD）方法，通过输入条件生成自蒸馏信号，消除了对外部教师、特权答案和视觉证据的需求，从而简化了自蒸馏过程。

技术框架：VCSD的整体架构包括两个主要模块：首先，使用指数移动平均（EMA）教师生成两个下一个标记分布，一个基于原始图像，另一个基于去除内容的控制图像；其次，通过对比这两个分布的标记对数概率差异，来增强教师的原始图像分布。

关键创新：VCSD的主要创新在于通过输入条件直接生成自蒸馏信号，消除了对外部教师和特权答案的依赖。这一设计使得自蒸馏过程更加简化且高效。

关键设计：在实现上，VCSD采用了对数概率差异作为损失函数，确保学生模型能够有效学习到由实例级视觉内容增强的候选标记。此外，模型的训练过程不需要额外的推理时间成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VCSD在多个基准测试中均显著优于传统的在线自蒸馏方法。例如，在Qwen3-VL模型中，七项基准的聚合得分从62.27%提升至67.04%，在4B和8B模型中也分别提升至73.16%和76.26%。

🎯 应用场景

该研究的潜在应用场景包括计算机视觉任务中的自蒸馏训练，尤其是在需要高效学习信号的场景中。VCSD方法的简化特性使其在资源受限的环境中具有实际价值，未来可能推动更多自监督学习方法的发展。

📄 摘要（原文）

On-policy self-distillation (OPSD) is promising as it removes the external teacher required by on-policy distillation (OPD), yet it still needs asymmetric information between teacher and student to ensure that the self-teacher provides a stronger learning signal than the student. Existing methods create this asymmetry either through privileged answers or visual evidence. We ask whether both can be removed, yielding a simpler form of OPSD driven purely by input conditioning. For this purpose, we propose Visual Contrastive Self-Distillation, namely VCSD, which converts image-content removal into an on-policy self-distillation signal. At each student-generated response prefix, the EMA teacher produces two next-token distributions under the same prompt and prefix -- one conditioned on the original image and the other on a content-erased control. Their token-wise log-probability difference highlights candidates whose likelihood is specifically increased by the instance-level visual content. We use this contrast to sharpen the teacher's original-image distribution within its plausible support, and distill the resulting full-distribution target into the student. Using ViRL39K dataset, VCSD consistently outperforms matched OPSD across Qwen3-VL and Qwen3.5 models. For example, on Qwen3-VL, it improves the seven-benchmark aggregate from $62.27\% \rightarrow 67.04\%$ at 2B, $71.30\% \rightarrow 73.16\%$ at 4B, and $72.51\% \rightarrow 76.26\%$ at 8B. Furthermore, VCSD requires no external teacher, privileged answers, visual evidence signals, reasoning traces, or additional inference-time cost.