FoMo X: Modular Explainability Signals for Outlier Detection Foundation Models

📄 arXiv: 2603.17570v1 📥 PDF

作者: Simon Klüttermann, Tim Katzke, Phuong Huong Nguyen, Emmanuel Müller

分类: cs.LG, cs.AI

发布日期: 2026-03-18

备注: 24 pages, 9 figures

💡 一句话要点

FoMo-X：为异常检测基础模型提供模块化可解释性信号

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 异常检测 可解释性AI 基础模型 零样本学习 先验数据拟合网络 不确定性估计 模块化设计

📋 核心要点

  1. 现有异常检测基础模型缺乏可解释性，难以在安全关键场景中应用，且事后解释方法计算成本高昂。
  2. FoMo-X通过在预训练的PFN骨干网络上附加辅助诊断头，提取嵌入中的上下文关系信息，实现轻量级诊断。
  3. 实验表明，FoMo-X能够高保真地恢复ground-truth诊断信号，且推理开销可忽略不计，提升了模型的可信度。

📝 摘要（中文）

表格数据基础模型，特别是先验数据拟合网络(PFNs)，通过实现无监督零样本适应新数据集，彻底改变了异常检测(OD)领域。然而，尽管这些模型具有预测能力，但它们通常作为不透明的黑盒运行，输出缺乏安全关键决策所需的操作上下文的标量异常分数。现有的事后解释方法通常在计算上对于实时部署来说过于昂贵，或者无法捕捉零样本推理中固有的认知不确定性。本文提出了FoMo-X，一个模块化框架，为OD基础模型配备了内在的、轻量级的诊断能力。我们利用了预训练PFN骨干网络的冻结嵌入已经编码了丰富的、上下文条件关系信息的洞察力。FoMo-X将辅助诊断头连接到这些嵌入上，使用与骨干网络相同的生成模拟器先验进行离线训练。这使得我们可以将计算成本高的属性（如基于蒙特卡洛dropout的认知不确定性）提炼成确定性的单次推理。我们用两个新的头实例化FoMo-X：一个将偏差离散化为可解释风险等级的严重性头，以及一个提供校准置信度度量的不确定性头。在合成和真实世界基准(ADBench)上的广泛评估表明，FoMo-X以高保真度和可忽略的推理开销恢复了ground-truth诊断信号。通过弥合基础模型性能和操作可解释性之间的差距，FoMo-X为可信赖的零样本异常检测提供了一条可扩展的路径。

🔬 方法详解

问题定义：现有异常检测基础模型，如PFNs，虽然在零样本异常检测中表现出色，但缺乏可解释性。它们输出的标量异常分数难以提供决策所需的上下文信息，限制了其在安全关键领域的应用。此外，现有的事后解释方法计算成本高，不适用于实时部署，且难以捕捉零样本推理中的不确定性。

核心思路：FoMo-X的核心思路是利用预训练PFN骨干网络的冻结嵌入已经编码了丰富的上下文关系信息。通过附加轻量级的辅助诊断头，可以从这些嵌入中提取可解释的诊断信号，而无需重新训练整个模型。这种方法旨在将计算密集型的属性（如不确定性估计）提炼成高效的单次推理，从而提高可解释性和效率。

技术框架：FoMo-X框架包含以下主要模块：1) 预训练的PFN骨干网络：负责生成数据嵌入；2) 辅助诊断头：包括严重性头和不确定性头，用于提取可解释的诊断信号；3) 离线训练：使用与骨干网络相同的生成模拟器先验训练诊断头。整体流程是：输入数据通过PFN骨干网络生成嵌入，然后嵌入输入到诊断头，输出严重性等级和不确定性度量。

关键创新：FoMo-X的关键创新在于其模块化的设计和利用预训练嵌入中的上下文信息。它通过附加轻量级的诊断头，实现了对异常检测结果的内在可解释性，而无需复杂的后处理或重新训练。此外，通过离线训练诊断头，可以将计算密集型的属性（如不确定性估计）提炼成高效的单次推理。

关键设计：FoMo-X的关键设计包括：1) 严重性头：将偏差离散化为可解释的风险等级，例如“低风险”、“中等风险”、“高风险”；2) 不确定性头：提供校准的置信度度量，用于评估模型预测的可靠性；3) 离线训练：使用与骨干网络相同的生成模拟器先验训练诊断头，确保诊断信号与骨干网络的嵌入空间对齐。具体损失函数和网络结构细节未在摘要中明确说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FoMo-X能够以高保真度恢复ground-truth诊断信号，并且推理开销可忽略不计。在ADBench基准测试中，FoMo-X在保持或提高异常检测性能的同时，提供了可解释的严重性等级和不确定性度量，显著提升了模型的可信度。

🎯 应用场景

FoMo-X可应用于各种需要可信赖异常检测的领域，如金融欺诈检测、医疗诊断、工业故障检测和网络安全。它通过提供可解释的诊断信号，帮助用户理解异常检测结果，并做出更明智的决策。未来，FoMo-X可以扩展到其他类型的基础模型和异常检测任务，并与其他可解释性方法相结合，进一步提高模型的可信度和可用性。

📄 摘要（原文）

Tabular foundation models, specifically Prior-Data Fitted Networks (PFNs), have revolutionized outlier detection (OD) by enabling unsupervised zero-shot adaptation to new datasets without training. However, despite their predictive power, these models typically function as opaque black boxes, outputting scalar outlier scores that lack the operational context required for safety-critical decision-making. Existing post-hoc explanation methods are often computationally prohibitive for real-time deployment or fail to capture the epistemic uncertainty inherent in zero-shot inference. In this work, we introduce FoMo-X, a modular framework that equips OD foundation models with intrinsic, lightweight diagnostic capabilities. We leverage the insight that the frozen embeddings of a pretrained PFN backbone already encode rich, context-conditioned relational information. FoMo-X attaches auxiliary diagnostic heads to these embeddings, trained offline using the same generative simulator prior as the backbone. This allows us to distill computationally expensive properties, such as Monte Carlo dropout based epistemic uncertainty, into a deterministic, single-pass inference. We instantiate FoMo-X with two novel heads: a Severity Head that discretizes deviations into interpretable risk tiers, and an Uncertainty Head that provides calibrated confidence measures. Extensive evaluation on synthetic and real-world benchmarks (ADBench) demonstrates that FoMo-X recovers ground-truth diagnostic signals with high fidelity and negligible inference overhead. By bridging the gap between foundation model performance and operational explainability, FoMo-X offers a scalable path toward trustworthy, zero-shot outlier detection.