ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling

📄 arXiv: 2610.02903v1 📥 PDF

作者: Hailun Xu, Kanchan Sarkar

分类: cs.CV

发布日期: 2026-10-02

💡 一句话要点

提出ViTok以优化AM-RADIO风格多教师蒸馏中的稠密语义

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多教师蒸馏 稠密语义 全局识别 图像分割 特征平衡

📋 核心要点

  1. 现有的蒸馏方法在优化全局识别与稠密语义时存在权衡，导致不同任务的性能不均衡。
  2. 论文提出了一系列改进措施，包括分离适配器头、非对称损失、教师重加权等，以优化多目标蒸馏效果。
  3. 实验结果显示，改进后的模型在ImageNet-1K和ADE20K上均取得了显著的性能提升，验证了方法的有效性。

📝 摘要（中文）

本研究探讨如何将当前的ViTok进展整合为一个单一的多教师蒸馏方案，以共同保留全局识别和稠密语义。研究以AM-RADIO风格的学生模型为起点，该模型从SigLIP2和DINOv3-L中蒸馏而来，前者提供强大的全局语义，后者则提供更强的稠密特征。我们总结了一系列修改，使得优化不同目标的权衡更加明确和可管理。最终模型在ImageNet-1K kNN分类中达到了83.2的patch kNN和85.2的CLS kNN，PHI-S则将ADE20K的性能从46.5/58.1提升至48.5/61.0 mIoU/mAcc，匹配教师模型的表现。

🔬 方法详解

问题定义：本论文旨在解决当前多教师蒸馏方法在全局识别与稠密语义优化中的不平衡问题，现有方法在不同任务上的表现不尽相同。

核心思路：通过引入多种技术手段，如分离适配器头和非对称损失，来优化不同目标的蒸馏效果，使得全局和稠密特征的学习更加协调。

技术框架：整体架构包括多个阶段：首先从SigLIP2和DINOv3-L中蒸馏特征，其次通过分离适配器头处理CLS和patch tokens，最后结合PHI-S特征平衡和掩蔽图像建模（MIM）进行优化。

关键创新：最重要的创新点在于通过教师重加权和非对称损失函数的引入，使得模型在不同任务上能够更好地平衡性能，尤其是在稠密语义任务上。

关键设计：在损失函数设计上，采用了非对称的余弦和均方误差损失，模型初始化则从DINOv3-L的检查点开始，确保了更好的特征学习效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，改进后的模型在ImageNet-1K kNN分类中达到了83.2的patch kNN和85.2的CLS kNN，超越了DINOv3-L教师模型。同时，PHI-S的引入使ADE20K的mIoU/mAcc从46.5/58.1提升至48.5/61.0，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像分割、目标检测等任务，尤其是在需要同时考虑全局和局部特征的场景中。通过优化多教师蒸馏方法，未来可以在更复杂的视觉任务中实现更高的性能，推动相关技术的发展。

📄 摘要（原文）

We study how to consolidate the current VITOK progress into a single multi-teacher distillation recipe that jointly preserves global recognition and dense semantics. Our starting point is an AM-RADIO-style student distilled from SigLIP2 and DINOv3-L, where SigLIP2 supplies strong global semantics and DINOv3-L supplies stronger dense features. The central empirical issue is that the same recipe does not optimize all objectives equally well: changes that improve ImageNet-1K kNN accuracy can still degrade ADE20K segmentation. We summarize a progression of modifications that make this trade-off more explicit and more manageable: split adaptor heads for CLS and patch tokens, asymmetric cosine/MSE losses, initialization from a DINOv3-L checkpoint, teacher reweighting, masked image modeling (MIM), and PHI-S feature balancing. The resulting model reaches 83.2 patch kNN and 85.2 CLS kNN, slightly surpassing the DINOv3-L teacher on ImageNet-1K kNN classification, while PHI-S restores ADE20K performance from 46.5/58.1 to 48.5/61.0 mIoU/mAcc, matching the teacher on this dense benchmark. We also summarize negative results: scaling distillation from ImageNet-1K to ImageNet22K does not consistently help, and naively adding extra teachers such as SAM3 or HOG features introduces interference. Rather than claiming a final recipe, this paper distills the current project state into a compact empirical story and a concrete set of lessons for future iterations.