From UNI2-h to ConvNeXt-T: Lightweight Nuclei Instance Segmentation via Knowledge Distillation

📄 arXiv: 2609.35203v1 📥 PDF

作者: Wenyan Li

分类: cs.CV

发布日期: 2026-09-28

备注: 5 pages, 2 figures, 4 tables. Submitted to IEEE International Symposium on Biomedical Imaging (ISBI 2027)

💡 一句话要点

提出轻量级蒸馏方法以解决数字病理中的细胞核实例分割问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 细胞核实例分割 知识蒸馏 轻量级模型 数字病理 推理速度提升

📋 核心要点

  1. 现有的细胞核实例分割模型依赖大型ViT编码器，导致推理速度无法满足临床实时需求。
  2. 本文提出了一种通过输出级知识蒸馏将大型病理模型转化为轻量级ConvNeXt-Tiny模型的方案。
  3. 实验结果显示，Ours-T在多个数据集上表现出色，推理速度显著提升，同时保持了高精度。

📝 摘要（中文）

细胞核实例分割是数字病理中的核心任务，但高精度模型依赖于大型视觉变换器（ViT）编码器，其推理速度无法满足实时临床需求。本文提出了一种轻量级方案，通过输出级知识蒸馏将UNI2-h病理基础模型蒸馏为ConvNeXt-Tiny学生模型（Ours-T，参数量为34.7M，仅为教师模型的1/20）。Ours-T在PanNuke数据集上实现了0.519的mPQ（为教师模型的98.8%），在MoNuSeg上实现了0.668的零-shot bPQ，推理速度达到634.3 img/s，进行全分辨率1024^2分析仅需0.045秒（速度提升21.8倍）。实验进一步表明，在ViT编码器下，多尺度门控卷积（MALA）没有带来增益，而仅通过输出级蒸馏即可实现高效的知识转移。

🔬 方法详解

问题定义：本文旨在解决数字病理中细胞核实例分割的高精度与高推理速度之间的矛盾。现有方法依赖于大型ViT编码器，推理速度较慢，无法满足临床应用的实时性要求。

核心思路：论文提出通过输出级知识蒸馏将大型病理基础模型UNI2-h转化为轻量级的ConvNeXt-Tiny模型（Ours-T），以实现高效的知识转移和推理速度提升。

技术框架：整体架构包括教师模型UNI2-h和学生模型ConvNeXt-Tiny，采用输出级知识蒸馏技术进行训练。主要模块包括特征提取、知识蒸馏和推理阶段。

关键创新：最重要的创新点在于通过输出级知识蒸馏实现了高效的知识转移，避免了在ViT编码器下多尺度门控卷积（MALA）的使用，简化了模型结构。

关键设计：在参数设置上，Ours-T的参数量为34.7M，损失函数采用了适合输出级蒸馏的设计，网络结构则基于ConvNeXt-Tiny，确保在保持精度的同时实现了显著的推理速度提升。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，Ours-T在PanNuke数据集上实现了0.519的mPQ，接近教师模型的98.8%。在MoNuSeg数据集上，Ours-T的零-shot bPQ为0.668，推理速度达到634.3 img/s，进行全分辨率1024^2分析仅需0.045秒，速度提升达到21.8倍。

🎯 应用场景

该研究在数字病理领域具有广泛的应用潜力，尤其是在需要快速分析细胞核的临床环境中。通过提高推理速度和保持高精度，能够更好地支持病理学家的诊断决策，提升临床效率。未来，该方法还可扩展到其他医学影像分析任务中。

📄 摘要（原文）

Nuclei instance segmentation is a core task in digital pathology, yet high-accuracy models rely on large vision transformer (ViT) encoders whose inference speed cannot meet real-time clinical demands. We propose a lightweight scheme that distills the UNI2-h pathology foundation model into a ConvNeXt-Tiny student (Ours-T, 34.7M parameters, 1/20 of the teacher) via output-level knowledge distillation. Ours-T achieves an mPQ of 0.519 on PanNuke (98.8% of the teacher), a zero-shot bPQ of 0.668 on MoNuSeg, and an inference speed of 634.3 img/s, requiring only 0.045 s for full-resolution 1024^2 analysis (21.8x speedup). Experiments further show that multi-scale gated convolution (MALA) yields no gain under ViT encoders, and output-level distillation alone suffices for efficient knowledge transfer.