DISCOVER: Making Vision Networks Interpretable via Competition and Dissection
作者: Konstantinos P. Panousis, Sotirios Chatzis
分类: cs.CV, cs.LG, stat.ML
发布日期: 2023-10-07
备注: Accepted @ NeuIPS 2023
💡 一句话要点
提出DISCOVER框架以提高视觉网络的可解释性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 深度学习 可解释性 视觉网络 神经元解剖 多模态模型 随机局部竞争 文本生成
📋 核心要点
- 现有深度网络的推理结果难以解释，限制了其在安全和偏见敏感应用中的透明部署。
- 提出的DISCOVER框架通过随机局部竞争机制，使得神经元激活稀疏化，从而便于生成可理解的文本描述。
- 实验结果表明，该方法在保持或提升分类性能的同时，提供了有效的神经元功能解剖手段。
📝 摘要（中文）
现代深度网络复杂性高，推理结果难以解释，这在安全关键或偏见敏感的应用中构成障碍。本研究贡献于后期可解释性，特别是网络解剖。我们提出一个框架，使得发现每个神经元在视觉任务中个体功能变得更容易，发现通过文本描述生成实现。为此，我们利用了多模态视觉-文本模型的最新进展和基于线性单元随机局部竞争的新概念的网络层。该方法推断稀疏的神经元激活模式，使神经元能够针对特定特征的输入进行激活/专业化，从而多样化其个体功能。我们的实验表明，该方法不仅保持或提高了分类性能，还实现了基于文本的描述和生成神经表征的系统框架。
🔬 方法详解
问题定义：本研究旨在解决深度视觉网络的可解释性问题，现有方法在解释神经元功能时存在复杂性和不透明性的问题。
核心思路：通过引入随机局部竞争机制，激活少量神经元以实现高激活稀疏性，从而使得每个神经元的功能更加明确，并生成可理解的文本描述。
技术框架：整体框架包括两个主要模块：一是多模态视觉-文本模型，二是基于随机局部竞争的网络层设计。通过这两个模块的结合，实现神经元功能的有效解剖和描述生成。
关键创新：最重要的创新点在于引入随机局部竞争机制，使得神经元激活稀疏化，进而提高了网络的可解释性和功能多样性。这一方法与传统的神经元激活方式有本质区别。
关键设计：在网络结构上，采用了新型的线性单元设计，并设置了适当的损失函数以优化文本描述生成的质量，同时确保神经元激活的稀疏性。具体参数设置和网络层设计细节在实验部分进行了详细说明。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用DISCOVER框架的视觉网络在分类任务中保持或提升了性能，激活稀疏性达到约4%。这一结果表明，网络的可解释性与性能之间可以实现良好的平衡。
🎯 应用场景
该研究的潜在应用领域包括医疗影像分析、自动驾驶系统和偏见检测等安全关键应用。通过提高视觉网络的可解释性，能够增强用户对模型决策的信任，促进其在实际场景中的广泛应用。
📄 摘要（原文）
Modern deep networks are highly complex and their inferential outcome very hard to interpret. This is a serious obstacle to their transparent deployment in safety-critical or bias-aware applications. This work contributes to post-hoc interpretability, and specifically Network Dissection. Our goal is to present a framework that makes it easier to discover the individual functionality of each neuron in a network trained on a vision task; discovery is performed in terms of textual description generation. To achieve this objective, we leverage: (i) recent advances in multimodal vision-text models and (ii) network layers founded upon the novel concept of stochastic local competition between linear units. In this setting, only a small subset of layer neurons are activated for a given input, leading to extremely high activation sparsity (as low as only $\approx 4\%$). Crucially, our proposed method infers (sparse) neuron activation patterns that enables the neurons to activate/specialize to inputs with specific characteristics, diversifying their individual functionality. This capacity of our method supercharges the potential of dissection processes: human understandable descriptions are generated only for the very few active neurons, thus facilitating the direct investigation of the network's decision process. As we experimentally show, our approach: (i) yields Vision Networks that retain or improve classification performance, and (ii) realizes a principled framework for text-based description and examination of the generated neuronal representations.