Towards Fast and Disentangled Counterfactuals for Visual Foundation Models

📄 arXiv: 2610.00895v1 📥 PDF

作者: Sidney Bender, Benedikt Kunz, Ahmed Zeid, Shinichi Nakajima, Klaus-Robert Müller, Marco Morik

分类: cs.LG, cs.CV

发布日期: 2026-10-01

💡 一句话要点

提出Disentangled Diffusion Autoencoders解决视觉基础模型的反事实生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 反事实生成 基础模型 可解释机器学习 扩散模型 知识蒸馏 计算机视觉 深度学习

📋 核心要点

  1. 现有的基础模型容易受到虚假相关性和策略的影响，缺乏有效的反事实生成方法。
  2. 本文提出的DiDAE通过将冻结的基础模型与条件扩散解码器结合，实现了快速且高效的反事实生成。
  3. 在六个数据集上的实验表明，DiDAE的反事实生成效果优于现有方法，并能有效修复下游分类器。

📝 摘要（中文）

基础模型仍然容易受到虚假相关性和“聪明汉斯”策略的影响。可解释的机器学习可以发现并消除这些策略，但对于基础模型尚无有效方案。本文提出了Disentangled Diffusion Autoencoders（DiDAE），该方法将一个冻结的基础模型与条件扩散解码器结合。反事实生成通过在解耦字典的方向上进行闭合编辑，随后解码实现。该方法在六个数据集上进行了评估，结果显示其反事实生成效果与现有最优方法相当或更好，并通过反事实知识蒸馏（CFKD）修复下游分类器，超越了基于元数据的修正。我们还提供了开源的Peal库，便于用户使用。

🔬 方法详解

问题定义：本文旨在解决基础模型在反事实生成中的脆弱性，现有方法无法有效消除虚假相关性和“聪明汉斯”策略的影响。

核心思路：DiDAE通过将冻结的基础模型与条件扩散解码器结合，利用解耦字典生成反事实，避免了梯度计算，从而实现高效生成。

技术框架：DiDAE的整体架构包括一个冻结的基础模型和一个条件扩散解码器，反事实生成过程通过在解耦字典的方向上进行编辑并解码实现。该字典可以是监督的（如Procrustes）或无监督的（如奇异值分解、稀疏自编码器）。

关键创新：DiDAE的主要创新在于其无需梯度计算，速度比现有方法快2000倍，且能有效生成高质量的反事实，修复下游分类器。

关键设计：DiDAE的设计包括选择合适的解耦字典、设置条件扩散解码器的参数，以及在反事实生成中使用的损失函数和网络结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DiDAE在三个基准数据集上的反事实生成效果与最优方法相当或更好，并通过反事实知识蒸馏修复下游分类器，超越了基于元数据的修正，展现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括图像分类、目标检测和其他计算机视觉任务，能够有效提高模型的鲁棒性和可解释性。未来，DiDAE有望在更多实际场景中应用，帮助开发更可靠的人工智能系统。

📄 摘要（原文）

Foundation models remain vulnerable to spurious correlations and ``Clever Hans'' strategies. Explainable machine learning can find and remove such strategies for classifiers without metadata. For foundation models, no such option exists yet. We propose Disentangled Diffusion Autoencoders (DiDAE). DiDAE wraps a frozen foundation model in a conditional diffusion decoder. A counterfactual is one closed-form edit along a direction of a disentangled dictionary, followed by decoding. The dictionary can be supervised (Procrustes) or unsupervised (Singular Value Decomposition, Sparse Autoencoders). No gradients are needed, so DiDAE is up to 2000 times faster than the state of the art. We evaluate on six datasets, two synthetic and four real-world. In a desiderata-driven benchmark on three of them, its counterfactuals are on par with or better than the state of the art, and they repair downstream classifiers through Counterfactual Knowledge Distillation (CFKD), where they beat metadata-based correction. The same machinery can rank a pretrained dictionary against a trained classifier. It returns the few directions the classifier actually reads, each causally verified by a counterfactual that flips the decision, and repairs the classifier along those a teacher marks spurious. The workflow is plug-and-play in our open-source Peal library we publish alongside the paper. With a public dictionary and a pretrained decoder, all that remains is a cheap linear distillation of the classifier and its own fine-tuning.