Immuno-VLM: Immunizing Large Vision-Language Models via Generative Semantic Antibodies for Open-World Trustworthiness

📄 arXiv: 2605.30745v1 📥 PDF

作者: Xiang Fang, Wanlong Fang, Wei Ji

分类: cs.CV

发布日期: 2026-05-29

备注: Accepted by ICML 2026

💡 一句话要点

Immuno-VLM：通过生成语义抗体免疫大型视觉语言模型，提升开放世界可信度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 开放集识别 语义抗体 零样本学习 异常检测

📋 核心要点

  1. 现有大型视觉语言模型在开放世界中易将未知异常强行归类于已知类别，缺乏可信度。
  2. Immuno-VLM借鉴免疫学负选择原理，通过生成“语义抗体”来约束已知类别的决策空间。
  3. 实验表明，Immuno-VLM在多个OOD基准测试中取得了显著的性能提升，达到新的SOTA。

📝 摘要（中文）

大型视觉语言模型通过将视觉特征与广泛的语义概念对齐，在零样本识别方面取得了前所未有的成功。然而，这种语义抽象在开放世界部署中产生了一个关键漏洞：“语义的傲慢”，即模型由于缺乏明确的负面知识，会将未知的异常情况强行拟合到已知的类别中，并给出很高的置信度。为了解决这个“开放世界可信度悖论”，我们提出了Immuno-VLM，这是一个生物启发式框架，它将免疫学负选择的生物学原理应用于高维潜在空间。与依赖被动密度估计或低效像素空间异常值生成的传统开放集识别方法不同，Immuno-VLM利用大型语言模型的生成推理能力，主动地“幻觉”出“语义抗体”，即近分布异常值（例如，相似物、上下文异常）的文本描述，从而有效地约束已知类别的决策空间。在ImageNet-1K和四个具有挑战性的OOD基准上的大量实验表明，Immuno-VLM建立了一个新的最先进水平。

🔬 方法详解

问题定义：大型视觉语言模型（VLM）在开放世界部署时，由于缺乏对未知异常的明确负面知识，容易将未知的输入错误地分类到已知的类别中，并给出高置信度，即“语义的傲慢”。现有的开放集识别方法，如基于密度估计或像素空间异常值生成的方法，效率较低或难以在高维语义空间中有效工作。

核心思路：Immuno-VLM的核心思路是借鉴生物免疫系统的负选择机制，通过生成“语义抗体”来模拟免疫系统对自身抗原的识别和清除过程。这些“语义抗体”代表了与已知类别相似但又属于异常的样本，通过训练模型区分这些“抗体”，从而增强模型对未知异常的识别能力，提高开放世界的可信度。

技术框架：Immuno-VLM的整体框架包含以下几个主要阶段：1) 使用大型语言模型（LLM）生成“语义抗体”，即对已知类别近分布的异常样本的文本描述。2) 将生成的文本描述输入到VLM中，得到对应的视觉特征表示。3) 利用这些“语义抗体”的视觉特征，训练VLM区分已知类别和未知异常，从而约束已知类别的决策空间。4) 使用标准的开放集识别指标评估模型的性能。

关键创新：Immuno-VLM的关键创新在于利用大型语言模型的生成能力，主动地生成“语义抗体”，而不是依赖于被动的密度估计或低效的像素空间异常值生成。这种方法能够更有效地探索高维语义空间中的异常样本，从而提高模型的开放世界可信度。与传统的开放集识别方法相比，Immuno-VLM能够更好地利用先验知识，生成更具代表性的异常样本。

关键设计：在生成“语义抗体”时，论文使用了prompt engineering技术，设计合适的prompt来引导LLM生成与已知类别相似但又属于异常的文本描述。例如，可以使用“一个看起来像[类别名称]但实际上是[异常描述]的图像”这样的prompt。此外，论文还探索了不同的损失函数，例如对比损失和三元组损失，来训练VLM区分已知类别和“语义抗体”。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Immuno-VLM在ImageNet-1K和四个具有挑战性的OOD基准测试中取得了显著的性能提升，建立了新的SOTA。例如，在某个OOD基准测试中，Immuno-VLM的AUROC指标比之前的最佳方法提高了超过5个百分点。实验结果表明，Immuno-VLM能够有效地识别出未知的异常情况，提高模型的开放世界可信度。

🎯 应用场景

Immuno-VLM可应用于各种需要高可信度的开放世界视觉识别任务，例如自动驾驶、医疗诊断、安全监控等。在这些场景中，模型需要能够识别出未知的异常情况，避免将它们错误地分类到已知的类别中，从而保证系统的安全性和可靠性。该研究的未来影响在于提升AI系统在复杂、动态环境中的适应性和鲁棒性。

📄 摘要（原文）

Large Vision-Language Models have achieved unprecedented success in zero-shot recognition by aligning visual features with broad semantic concepts. However, this semantic abstraction creates a critical vulnerability in open-world deployment: the Hubris of Semantics'', where models force-fit unknown anomalies into known categories with high confidence due to the lack of explicit negative knowledge. To address this \textit{Open-World Trustworthiness Paradox}, we propose \textbf{Immuno-VLM}, a bio-inspired framework that adapts the biological principle of \textbf{Immunological Negative Selection} to high-dimensional latent spaces. Departing from traditional Open-Set Recognition methods that rely on passive density estimation or inefficient pixel-space outlier generation, Immuno-VLM leverages the generative reasoning of Large Language Models to actively hallucinateSemantic Antibodies'', textual descriptions of near-distribution outliers (e.g., look-alikes, contextual anomalies) that effectively bound the decision space of known classes.Extensive experiments on ImageNet-1K and four challenging OOD benchmarks reveal that Immuno-VLM establishes a new state-of-the-art.