Interpret the Predictions of Deep Networks via Re-Label Distillation

📄 arXiv: 2409.13137v1 📥 PDF

作者: Yingying Hua, Shiming Ge, Daichi Zhang

分类: cs.CV, cs.AI, cs.CR

发布日期: 2024-09-20

备注: Published by IEEE ICME 2021

💡 一句话要点

提出重标记蒸馏方法，用于解释深度网络预测结果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度网络解释 可解释性AI 重标记蒸馏 VAE 自监督学习

📋 核心要点

  1. 深度网络的黑盒特性限制了其可靠部署，解释其预测结果至关重要。
  2. 通过VAE生成合成图像，并利用深度网络进行重标记，训练线性模型解释局部分类机制。
  3. 实验验证了该方法在解释深度网络预测方面的有效性，提供了定性和定量的结果。

📝 摘要（中文）

本文提出了一种重标记蒸馏方法，以自监督的方式学习从输入到预测的直接映射，从而解释黑盒深度网络的预测。该方法首先将图像投影到VAE子空间，通过随机扰动其潜在向量生成一些合成图像。然后，通过识别这些合成图像的标签是否发生变化，将它们标注为两个类别之一。之后，使用深度网络标注的标签作为教师信号，训练一个线性学生模型，将这些合成图像映射到相应的类别，从而近似教师网络的标注。通过这种方式，这些重标记的合成图像可以很好地描述深度网络的局部分类机制，并且学习到的学生模型可以为预测提供更直观的解释。大量的实验验证了该方法的有效性。

🔬 方法详解

问题定义：现有深度网络模型通常被视为黑盒，难以理解其预测背后的原因。缺乏可解释性降低了模型的可信度和可靠性，阻碍了其在安全敏感领域的应用。现有方法通常依赖于梯度或注意力机制，但这些方法可能不够直观，并且难以捕捉复杂的决策边界。

核心思路：本文的核心思路是利用重标记蒸馏，通过生成与原始输入相似但略有不同的合成图像，并观察深度网络对这些图像的预测变化，来理解深度网络的决策过程。通过训练一个简单的线性模型来拟合这些变化，从而获得一个更易于理解的解释器。

技术框架：该方法主要包含以下几个阶段：1) 使用VAE将输入图像投影到潜在空间；2) 在潜在空间中随机扰动潜在向量，生成一系列合成图像；3) 使用原始深度网络对这些合成图像进行预测，并根据预测标签是否发生变化，将合成图像重标记为两个类别；4) 使用重标记的合成图像训练一个线性学生模型，该模型将合成图像映射到相应的类别。

关键创新：该方法最重要的创新点在于使用重标记蒸馏来学习深度网络的局部分类机制。通过生成合成图像并观察其标签变化，可以更直接地了解深度网络如何对输入进行分类。与传统的基于梯度或注意力的方法相比，该方法提供了一种更直观和易于理解的解释。

关键设计：VAE的选择和训练至关重要，需要确保能够生成高质量的合成图像。潜在向量的扰动幅度需要仔细调整，以确保合成图像既与原始图像相似，又能引起深度网络预测的变化。线性学生模型的选择也需要考虑，以确保其能够有效地拟合深度网络的局部分类机制。损失函数的设计需要平衡分类准确率和解释的简洁性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过大量实验验证了所提出方法的有效性。实验结果表明，该方法能够生成高质量的解释，并且能够有效地提高深度学习模型的可解释性。具体性能数据和对比基线未知，但定性和定量结果均支持该方法的有效性。

🎯 应用场景

该研究成果可应用于提高深度学习模型在医疗诊断、金融风控等领域的透明度和可信度。通过解释模型的预测结果，可以帮助用户理解模型的决策依据，从而更好地信任和使用这些模型。此外，该方法还可以用于调试和优化深度学习模型，发现模型存在的潜在问题。

📄 摘要（原文）

Interpreting the predictions of a black-box deep network can facilitate the reliability of its deployment. In this work, we propose a re-label distillation approach to learn a direct map from the input to the prediction in a self-supervision manner. The image is projected into a VAE subspace to generate some synthetic images by randomly perturbing its latent vector. Then, these synthetic images can be annotated into one of two classes by identifying whether their labels shift. After that, using the labels annotated by the deep network as teacher, a linear student model is trained to approximate the annotations by mapping these synthetic images to the classes. In this manner, these re-labeled synthetic images can well describe the local classification mechanism of the deep network, and the learned student can provide a more intuitive explanation towards the predictions. Extensive experiments verify the effectiveness of our approach qualitatively and quantitatively.