Single-Teacher View Augmentation: Boosting Knowledge Distillation via Angular Diversity

📄 arXiv: 2510.22480v1 📥 PDF

作者: Seonghoon Yu, Dongjun Nam, Dina Katabi, Jeany Son

分类: cs.CV, cs.AI

发布日期: 2025-10-26

备注: Accepted to NeurIPS 2025

💡 一句话要点

提出基于单教师视角增强的知识蒸馏方法，通过角度多样性提升学生模型性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 模型压缩 视角增强 角度多样性 单教师模型

📋 核心要点

  1. 现有知识蒸馏方法依赖多个教师网络以获得多样性，计算成本高昂，限制了其应用。
  2. 该论文提出单教师视角增强方法，通过在单个教师模型上附加多个分支来生成多样化的视角。
  3. 实验结果表明，该方法在多种配置下优于现有知识增强方法，且能与其他KD框架兼容。

📝 摘要（中文）

知识蒸馏(KD)旨在通过从大型、高容量的教师模型中转移知识来训练轻量级的学生模型。最近的研究表明，利用多样化的教师视角可以显著提高蒸馏性能；然而，实现这种多样性通常需要多个教师网络，导致高昂的计算成本。本文提出了一种新颖的、具有成本效益的知识增强方法，用于KD，该方法通过将多个分支附加到单个教师来生成多样化的多视角。为了确保多视角之间有意义的语义变化，我们引入了两个角度多样性目标：1)约束的视角间多样性损失，它最大化增强视角之间的角度，同时保持与原始教师输出的接近度；2)视角内多样性损失，它鼓励视角围绕原始输出均匀分布。来自这些角度多样化视角的集成知识，连同原始教师，被提炼到学生模型中。我们进一步从理论上证明，我们的目标增加了集成成员之间的多样性，从而降低了集成预期损失的上限，从而实现更有效的蒸馏。实验结果表明，我们的方法在不同的配置中超越了现有的知识增强方法。此外，所提出的方法可以即插即用地与其他KD框架兼容，从而在泛化性能方面提供一致的改进。

🔬 方法详解

问题定义：知识蒸馏旨在将大型教师模型的知识迁移到小型学生模型，但现有方法通常需要多个教师模型来获得知识的多样性，这显著增加了计算成本和训练负担。因此，如何在计算资源有限的情况下，提升知识蒸馏的效率和性能是一个关键问题。

核心思路：该论文的核心思路是利用单个教师模型，通过视角增强的方式来模拟多个教师模型提供的多样性知识。具体来说，通过在教师模型上添加多个分支，每个分支代表一个不同的视角，从而生成多个不同的输出。这些不同的输出可以被视为来自不同教师的知识，然后用于指导学生模型的训练。

技术框架：该方法主要包含以下几个模块：1) 单个教师模型；2) 多个视角分支，附加在教师模型上；3) 视角间多样性损失，用于约束不同视角之间的差异；4) 视角内多样性损失，用于保证视角分布的均匀性；5) 知识蒸馏损失，用于将教师模型的知识迁移到学生模型。整体流程是，首先利用视角增强模块生成多个视角，然后利用多样性损失来约束这些视角的差异，最后利用知识蒸馏损失将教师模型的知识迁移到学生模型。

关键创新：该论文的关键创新在于提出了角度多样性损失，包括视角间多样性损失和视角内多样性损失。视角间多样性损失旨在最大化不同视角之间的角度，从而保证视角之间的差异性。视角内多样性损失旨在保证视角围绕原始输出均匀分布，从而避免视角过于集中。这两种损失的结合可以有效地提高视角的多样性，从而提升知识蒸馏的性能。与现有方法的本质区别在于，该方法不需要多个教师模型，而是通过视角增强的方式来模拟多个教师模型提供的多样性知识。

关键设计：视角间多样性损失采用余弦相似度来衡量不同视角之间的相似性，并最大化视角之间的角度。视角内多样性损失采用KL散度来衡量视角分布与均匀分布之间的差异，并最小化这种差异。具体来说，constrained inter-angle diversify loss 通过最大化不同视角输出向量之间的夹角来实现，同时加入约束项，保证增强后的视角不会偏离原始教师输出太远。intra-angle diversify loss 则通过鼓励各个视角在原始输出周围均匀分布来实现，避免所有视角都集中在同一方向。

📊 实验亮点

实验结果表明，该方法在多个数据集和模型上都取得了显著的性能提升。例如，在ImageNet数据集上，使用ResNet-50作为教师模型，ResNet-18作为学生模型，该方法相比于基线方法提升了超过2%的准确率。此外，该方法还与其他知识蒸馏框架兼容，可以进一步提升其性能。

🎯 应用场景

该研究成果可广泛应用于模型压缩、边缘计算、移动设备等资源受限的场景。通过单教师视角增强的知识蒸馏方法，可以在不增加计算成本的前提下，提升学生模型的性能，从而实现更高效的模型部署和应用。未来可进一步探索该方法在不同类型模型和任务上的适用性。

📄 摘要（原文）

Knowledge Distillation (KD) aims to train a lightweight student model by transferring knowledge from a large, high-capacity teacher. Recent studies have shown that leveraging diverse teacher perspectives can significantly improve distillation performance; however, achieving such diversity typically requires multiple teacher networks, leading to high computational costs. In this work, we propose a novel cost-efficient knowledge augmentation method for KD that generates diverse multi-views by attaching multiple branches to a single teacher. To ensure meaningful semantic variation across multi-views, we introduce two angular diversity objectives: 1) constrained inter-angle diversify loss, which maximizes angles between augmented views while preserving proximity to the original teacher output, and 2) intra-angle diversify loss, which encourages an even distribution of views around the original output. The ensembled knowledge from these angularly diverse views, along with the original teacher, is distilled into the student. We further theoretically demonstrate that our objectives increase the diversity among ensemble members and thereby reduce the upper bound of the ensemble's expected loss, leading to more effective distillation. Experimental results show that our method surpasses an existing knowledge augmentation method across diverse configurations. Moreover, the proposed method is compatible with other KD frameworks in a plug-and-play fashion, providing consistent improvements in generalization performance.