CRANE: Post-Hoc Counterfactual Retrieval for Multimodal Classifiers

📄 arXiv: 2610.31594v1 📥 PDF

作者: Franco Rugolon, Ioanna Miliou, Panagiotis Papapetrou

分类: cs.LG

发布日期: 2026-10-22

备注: 7 pages + references, 3 figures, accepted to DSAA 2026

💡 一句话要点

提出CRANE以解决多模态分类器的后验反事实检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 反事实解释 多模态分类 可解释性 机器学习 数据检索

📋 核心要点

  1. 现有的多模态分类器可解释性方法未能提供连贯的解释，且无法适用于任意预训练的多模态架构。
  2. 本文提出CRANE框架，通过检索目标类别的真实训练示例，生成合理的反事实解释，克服了现有方法的局限性。
  3. 在四个异构数据集上，MC-R策略表现最佳，三项数据集上实现了最佳或并列最佳的结果，验证了该方法的有效性。

📝 摘要（中文）

反事实解释方法已在单模态环境中引入，并为表格、时间序列、文本和图像数据提供了专用框架，但尚未为多模态输入的分类器设计后验方法。现有的多模态分类器可解释性方法独立地对每个输入应用特定模态的归因，导致解释不连贯，且无法迁移到任意预训练的多模态架构。为了解决这些问题，本文提出了CRANE（通过无关最近邻解释的反事实检索），这是第一个后验的、模型无关的多模态反事实生成框架，能够从目标类别中检索真实的训练示例作为候选解释，确保构造的合理性。通过在四个异构数据集和三种融合策略上的实验，我们发现多模态共识检索（MC-R）是最强的多模态策略，在四个数据集中的三个上实现了最佳或并列最佳的结果，同时将每个解释基于联合训练分布进行基础化。

🔬 方法详解

问题定义：本文旨在解决现有多模态分类器的可解释性不足的问题，特别是现有方法在独立模态归因时导致的解释不连贯性和迁移性差的问题。

核心思路：CRANE框架的核心思路是通过无关的最近邻检索，生成基于真实训练示例的反事实解释，从而确保解释的合理性和一致性。

技术框架：CRANE的整体架构包括数据预处理、最近邻检索、模态融合和反事实生成四个主要模块。首先对输入数据进行预处理，然后从目标类别中检索最近邻实例，接着通过模态融合策略整合不同模态的信息，最后生成反事实解释。

关键创新：CRANE的主要创新在于提出了一种模型无关的后验反事实生成方法，能够有效地结合多模态信息，克服了传统方法的局限性。与现有方法相比，CRANE能够在多模态环境中提供更合理的解释。

关键设计：在设计上，CRANE采用了多模态共识检索（MC-R）策略，通过交集方式识别在每个模态中都接近查询的实例。此外，损失函数的设计确保了生成的反事实解释与训练分布的一致性。

📊 实验亮点

在四个异构数据集上的实验结果显示，MC-R策略在三个数据集上实现了最佳或并列最佳的性能，验证了CRANE框架的有效性和优越性。与基线方法相比，CRANE在多模态环境中提供了更具连贯性的解释，显著提升了可解释性。

🎯 应用场景

该研究的潜在应用领域包括医疗诊断、金融决策和自动驾驶等需要多模态数据分析的场景。通过提供可解释的反事实解释，CRANE能够帮助决策者理解模型的决策过程，从而提高信任度和透明度。未来，该方法可能会在更多复杂的多模态任务中得到应用，推动可解释人工智能的发展。

📄 摘要（原文）

Counterfactual explanation methods have been introduced for unimodal settings, with dedicated frameworks for tabular, timeseries, text, and image data, yet no post-hoc method has been designed for classifiers that learn from multimodal inputs. Existing explainability methods for multimodal classifiers apply modality-specific attribution independently to each input, which fails to yield coherent explanations and does not transfer to arbitrary pre-trained multimodal architectures. To address these shortcomings, we present CRANE (Counterfactual Retrieval via Agnostic Nearest-neighbour Explanations), the first post-hoc, model-agnostic framework for nearest-neighbour multimodal counterfactual generation that retrieves real training examples from the target class as candidate explanations, ensuring plausibility by construction. Across four heterogeneous datasets and three fusion strategies, we show that Multimodal Consensus Retrieval (MC-R), which intersects per-modality neighbour sets to identify instances jointly close to the query in every modality, emerges as the strongest multimodal strategy, achieving the best or joint-best outcome on three of four datasets while grounding every explanation in the joint training distribution. Unimodal strategies remain competitive when a single modality dominates the decision boundary.