ImmuVis: Hyperconvolutional Foundation Model for Imaging Mass Cytometry

📄 arXiv: 2602.04585v1 📥 PDF

作者: Marcin Możejko, Dawid Uchal, Krzysztof Gogolewski, Piotr Kupidura, Szymon Łukasik, Jakub Giezgała, Tomasz Nocoń, Kacper Pietrzyk, Robert Pieniuta, Mateusz Sulimowicz, Michal Orzyłowski, Tomasz Siłkowski, Karol Zagródka, Eike Staub, Ewa Szczurek

分类: cs.CV

发布日期: 2026-02-04

备注: 17 pages, 6 figures

💡 一句话要点

ImmuVis：用于成像质谱细胞术的超卷积基础模型，解决通道空间不固定问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 成像质谱细胞术 基础模型 超卷积 自监督学习 标记自适应 虚拟染色 组织微环境

📋 核心要点

  1. 传统视觉模型假设输入具有固定的通道空间，而多重成像技术中标记集变化导致通道空间不固定，这是核心挑战。
  2. ImmuVis提出标记自适应的超卷积，通过学习标记嵌入生成卷积核，使得模型能处理任意标记子集，无需针对特定标记集重新训练。
  3. ImmuVis在IMC17M数据集上预训练，并在虚拟染色和下游分类任务中超越现有方法，同时提供校准的不确定性估计。

📝 摘要（中文）

本文提出ImmuVis，一种高效的卷积基础模型，用于成像质谱细胞术(IMC)。IMC是一种高通量多重成像技术，将分子标记测量作为图像通道，从而实现大规模的空间组织分析。与自然图像不同，多重成像缺乏固定的通道空间，因为真实世界的标记集因研究而异，这违反了标准视觉骨干网络的一个核心假设。为了解决这个问题，ImmuVis引入了标记自适应的超卷积，它从学习到的标记嵌入生成卷积核，使单个模型能够在任意测量的标记子集上运行，而无需重新训练。我们使用自监督的掩码重建在迄今为止最大的数据集IMC17M（28个队列，24,405张图像，265个标记，超过1700万个patch）上预训练ImmuVis。ImmuVis在虚拟染色和下游分类任务中优于SOTA基线和消融实验，且计算成本远低于基于Transformer的替代方案，并且是唯一通过异方差似然目标提供校准不确定性的模型。这些结果将ImmuVis定位为用于真实世界IMC建模的实用、高效的基础模型。

🔬 方法详解

问题定义：成像质谱细胞术(IMC)是一种高通量多重成像技术，能够测量多种分子标记。然而，不同研究中使用的标记集可能不同，导致图像的通道空间不固定。现有的视觉模型通常假设输入具有固定的通道空间，因此无法直接应用于IMC数据，需要针对每个标记集重新训练模型，计算成本高昂。

核心思路：ImmuVis的核心思路是引入标记自适应的超卷积。通过学习每个标记的嵌入向量，并使用这些嵌入向量动态生成卷积核，使得模型能够根据输入的标记集自适应地调整卷积操作。这样，同一个模型就可以处理不同的标记集，而无需重新训练。

技术框架：ImmuVis的整体框架包括以下几个主要模块：1) 标记嵌入模块：学习每个标记的嵌入向量。2) 超卷积模块：使用标记嵌入向量动态生成卷积核，并进行卷积操作。3) 图像编码器：提取图像的特征表示。4) 预测模块：根据图像的特征表示进行预测，例如虚拟染色或下游分类。模型首先通过自监督学习在大型IMC数据集上进行预训练，然后可以在特定任务上进行微调。

关键创新：ImmuVis最重要的技术创新点是标记自适应的超卷积。与传统的卷积操作使用固定的卷积核不同，超卷积的卷积核是根据输入的标记集动态生成的。这使得模型能够处理通道空间不固定的IMC数据，并且能够更好地利用标记之间的关系。

关键设计：ImmuVis的关键设计包括：1) 使用Transformer网络学习标记嵌入向量。2) 使用多层感知机(MLP)将标记嵌入向量映射到卷积核的参数。3) 使用异方差似然目标函数进行训练，从而提供校准的不确定性估计。4) 在大型IMC数据集IMC17M上进行预训练，该数据集包含28个队列，24,405张图像和265个标记。

📊 实验亮点

ImmuVis在虚拟染色和下游分类任务中均取得了显著的性能提升。在虚拟染色任务中，ImmuVis优于SOTA基线和消融实验。在下游分类任务中，ImmuVis也取得了 comparable 或更好的结果，并且计算成本远低于基于Transformer的替代方案。此外，ImmuVis是唯一能够提供校准不确定性估计的模型，这对于生物医学研究至关重要。

🎯 应用场景

ImmuVis在生物医学研究领域具有广泛的应用前景，例如肿瘤微环境分析、免疫细胞相互作用研究、药物靶点发现等。通过对组织样本进行高通量、多重成像分析，ImmuVis可以帮助研究人员深入了解疾病的发生发展机制，并为精准医疗提供支持。该模型能够处理不同标记集的数据，降低了模型部署和使用的门槛，有望加速IMC技术在科研和临床实践中的应用。

📄 摘要（原文）

We present ImmuVis, an efficient convolutional foundation model for imaging mass cytometry (IMC), a high-throughput multiplex imaging technology that handles molecular marker measurements as image channels and enables large-scale spatial tissue profiling. Unlike natural images, multiplex imaging lacks a fixed channel space, as real-world marker sets vary across studies, violating a core assumption of standard vision backbones. To address this, ImmuVis introduces marker-adaptive hyperconvolutions that generate convolutional kernels from learned marker embeddings, enabling a single model to operate on arbitrary measured marker subsets without retraining. We pretrain ImmuVis on the largest to-date dataset, IMC17M (28 cohorts, 24,405 images, 265 markers, over 17M patches), using self-supervised masked reconstruction. ImmuVis outperforms SOTA baselines and ablations in virtual staining and downstream classification tasks at substantially lower compute cost than transformer-based alternatives, and is the sole model that provides calibrated uncertainty via a heteroscedastic likelihood objective. These results position ImmuVis as a practical, efficient foundation model for real-world IMC modeling.