SLICEChat: Progressive In-Encoder Token Pruning for Whole-Slide Pathology Language Models

📄 arXiv: 2609.24894v1 📥 PDF

作者: Ali Kerem Bozkurt, Baris Cem Bakay, Ibrahim Kulac, Cigdem Gunduz-Demir, Erkut Erdem, Aykut Erdem

分类: cs.CV, cs.CL

发布日期: 2026-09-21

备注: Project Page: https://cyberiada.github.io/SLICEChat/ Code: https://github.com/ali-kerem/SLICEChat

💡 一句话要点

提出SLICEChat以解决全幻灯片病理图像处理的可扩展性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全幻灯片病理图像 多模态大语言模型 渐进式令牌修剪 Mamba-Transformer 医学影像分析 计算效率 病理学诊断

📋 核心要点

  1. 现有方法在处理全幻灯片病理图像时面临可扩展性挑战，计算开销大且效率低下。
  2. SLICEChat通过在混合Mamba-Transformer编码器中集成渐进式令牌修剪，优化了幻灯片级MLLM的性能。
  3. 在SlideBench VQA上，SLICEChat在多个数据集上超越了现有模型，展现出更高的准确率和更低的推理延迟。

📝 摘要（中文）

全幻灯片病理图像（WSIs）包含巨量的视觉内容，给幻灯片级多模态大语言模型（MLLMs）带来了显著的可扩展性挑战。现有方法处理成千上万的补丁令牌，通常在幻灯片编码后才进行压缩，导致多模态注意力计算开销巨大。本文提出SLICEChat，这是一种在混合Mamba-Transformer幻灯片编码器中集成渐进式令牌修剪的幻灯片级MLLM。Mamba层实现高效的长距离传播，而Transformer层在序列逐步缩短时保持全局交互。通过语言监督的区域感知修剪，在受控的保留率调度下去除空间上相干的低效区域，生成紧凑的幻灯片表示，便于多模态融合。在SlideBench VQA上，SLICEChat在TCGA和BCNB队列上分别达到了79.84%和59.09%的准确率，超越了先前的幻灯片级病理MLLMs，并在WSI-Bench指标上取得了最高的整体成绩。该模型在内存使用和推理延迟方面也表现出竞争力，展示了对巨量WSIs的准确且计算高效的多模态推理能力。

🔬 方法详解

问题定义：本文旨在解决全幻灯片病理图像处理中的可扩展性问题。现有方法在幻灯片编码后进行令牌压缩，导致计算开销巨大，效率低下。

核心思路：SLICEChat的核心思路是通过渐进式令牌修剪，结合Mamba和Transformer层的优势，优化幻灯片级MLLM的计算效率和性能。这样的设计使得在保持全局交互的同时，能够有效减少低效区域的计算。

技术框架：SLICEChat的整体架构包括Mamba层和Transformer层的组合。Mamba层负责高效的长距离信息传播，而Transformer层则在序列逐步缩短的过程中保持全局信息的交互。通过语言监督的区域感知修剪，逐步去除低效区域，最终生成紧凑的幻灯片表示。

关键创新：SLICEChat的关键创新在于其渐进式令牌修剪机制，能够在编码过程中动态去除低效信息，与传统方法在编码后进行压缩的方式形成鲜明对比。

关键设计：在设计中，采用了受控的保留率调度来指导修剪过程，确保重要信息的保留。同时，Mamba层和Transformer层的结合使得模型在处理长序列时仍能保持高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SLICEChat在SlideBench VQA上取得了79.84%和59.09%的准确率，分别在TCGA和BCNB队列中超越了现有的幻灯片级病理MLLMs。此外，该模型在WSI-Bench指标上表现最佳，展现出优越的内存使用和推理延迟性能，证明了其在巨量WSIs上的计算效率。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、病理学诊断和生物医学研究。通过提高全幻灯片病理图像的处理效率，SLICEChat能够帮助医生更快地做出诊断决策，并推动相关领域的研究进展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Whole-slide pathology images (WSIs) contain gigapixel-scale visual content, creating a major scalability challenge for slide-level multimodal large language models (MLLMs). Existing approaches process thousands of patch tokens and typically apply compression only after slide encoding, leaving multimodal attention computationally expensive. We introduce SLICEChat, a slide-level MLLM that integrates progressive token pruning within a hybrid Mamba--Transformer slide encoder. Mamba layers enable efficient long-range propagation, while Transformer layers preserve global interactions as the sequence is progressively shortened. Between stages, language-supervised, region-aware pruning removes spatially coherent low-utility regions under a controlled keep-rate schedule, producing compact slide representations before multimodal fusion. On SlideBench VQA, SLICEChat achieves 79.84% accuracy on TCGA and 59.09% on BCNB cohorts, outperforming prior slide-level pathology MLLMs, and achieves the highest overall WSI-Bench metrics. It also provides competitive memory usage and the inference latency among the evaluated models. These results demonstrate accurate and computationally efficient multimodal reasoning over gigapixel WSIs.