On the Failure of Boundary-Seeking Distillation in Bottlenecked Generative Architectures

📄 arXiv: 2607.15919 📥 PDF

作者: Mohamed Amine Kina

分类: cs.LG, cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出边界寻求蒸馏方法以解决瓶颈生成架构的知识转移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 生成模型 自编码器 流形学习 对比学习

📋 核心要点

  1. 现有的边界寻求蒸馏方法在瓶颈生成架构中存在严重的梯度冲突问题，导致知识转移效果不佳。
  2. 论文提出通过流形感知合成的方法，避免独立采样对比目标带来的几何冲突，从而实现有效的知识蒸馏。
  3. 实验结果表明，流形感知合成方法在MNIST数据集上显著提升了生成模型的性能，建立了有效的基线。

📝 摘要（中文）

数据无关的知识蒸馏通过不接触原始训练数据，将教师模型中的知识转移到学生模型中。以往的研究如对比性推理知识提取（CAKE）通过合成接近教师决策边界的样本来实现这一目标。本文探讨了这一边界寻求原则是否适用于自编码器蒸馏，并通过对MNIST数据集的实验进行验证。我们将连续重建重新表述为密集的每特征分类任务，使解码器能够输出分类logits。研究表明，在瓶颈生成架构中，边界寻求目标本质上是病态的，独立采样对这些耦合输出的对比目标会违反学习到的潜在流形的几何结构，导致严重的梯度冲突。流形感知合成完全绕过了这些冲突，为数据无关的生成蒸馏建立了有效的基线。

🔬 方法详解

问题定义：本文旨在解决在瓶颈生成架构中，边界寻求蒸馏方法导致的梯度冲突问题。现有方法如CAKE在处理自编码器时表现不佳，无法有效转移知识。

核心思路：论文提出流形感知合成的方法，通过避免独立采样对比目标的几何冲突，确保生成模型能够有效学习教师模型的知识。

技术框架：整体架构包括数据无关的知识蒸馏流程，首先将连续重建任务转化为每特征的分类任务，然后通过流形感知合成生成对比样本。

关键创新：最重要的创新在于提出流形感知合成，解决了传统边界寻求方法在生成架构中的病态性，确保了知识的有效转移。

关键设计：在损失函数设计上，采用了针对每个特征的分类logits输出，确保解码器能够有效捕捉到潜在流形的几何结构。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，流形感知合成方法在MNIST数据集上显著提高了生成模型的性能，相较于传统方法，减少了梯度冲突，提升了知识转移的有效性，建立了新的性能基线。

🎯 应用场景

该研究的潜在应用领域包括无监督学习、模型压缩和边缘计算等。通过有效的知识蒸馏方法，可以在不依赖原始数据的情况下，提升生成模型的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Data-free knowledge distillation transfers the knowledge encoded in a teacher model to a student model without access to the original training data. Prior work such as Contrastive Abductive Knowledge Extraction (CAKE) achieves this for classifiers by synthesizing samples near the teacher's decision boundary. In this work, we investigate whether this boundary-seeking principle extends to autoencoder distillation through experiments on the MNIST dataset . To enable a direct comparison, we reformulate continuous reconstruction as a dense, per-feature classification task, allowing the decoder to output categorical logits. We show that boundary-seeking objectives are fundamentally ill-posed in bottlenecked generative architectures. CAKE operates on a single, instance-level objective, but a decoder acts as an array of tightly coupled, feature-level classifiers constrained by a shared low-dimensional bottleneck. Independently sampling contrastive targets for these coupled outputs violates the geometry of the learned latent manifold and produces severe gradient conflicts instead of informative boundary samples. Manifold-aware synthesis bypasses these conflicts entirely and establishes an effective baseline for data-free generative distillation.