PathFLIP: Fine-grained Language-Image Pretraining for Versatile Computational Pathology

📄 arXiv: 2512.17621v1 📥 PDF

作者: Fengchun Liu, Songhan Jiang, Linghan Cai, Ziyue Wang, Yongbing Zhang

分类: cs.CV

发布日期: 2025-12-19

💡 一句话要点

PathFLIP：用于多功能计算病理学的细粒度语言-图像预训练

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 计算病理学 视觉-语言预训练 全切片图像 细粒度对齐 大型语言模型

📋 核心要点

  1. 现有VLM方法难以捕捉WSI中数千个patch与文本描述之间的细粒度对应关系，限制了下游任务的性能。
  2. PathFLIP通过将切片级标题分解为区域级子标题，并利用LLM生成文本条件区域嵌入，实现精确的视觉-语言对齐。
  3. 实验表明，PathFLIP在多个病理学任务上优于现有VLM，且所需训练数据更少，展现了其优越的性能。

📝 摘要（中文）

本文提出PathFLIP（病理细粒度语言-图像预训练），一种用于整体WSI（全切片图像）解释的新框架。PathFLIP将切片级别的标题分解为区域级别的子标题，并生成文本条件区域嵌入，以促进精确的视觉-语言对齐。通过利用大型语言模型（LLM），PathFLIP可以无缝地遵循各种临床指令并适应不同的诊断环境。此外，它在多种范例中表现出通用的能力，有效地处理切片级别的分类和检索、细粒度的病灶定位以及指令跟随。大量实验表明，PathFLIP在四个代表性基准测试中优于现有的大规模病理VLMs，同时需要显著更少的训练数据，为临床实践中细粒度的、指令感知的WSI解释铺平了道路。

🔬 方法详解

问题定义：现有视觉-语言模型（VLM）在计算病理学（CPath）中取得了显著进展，但全切片图像（WSI）的千兆像素尺度和空间异质性仍然对多模态理解构成挑战。现有对齐方法难以捕捉文本描述和来自切片的数千个patch之间的细粒度对应关系，从而影响了下游任务的性能。具体来说，现有方法无法有效地将切片级别的全局描述与WSI中不同区域的局部视觉特征对齐，导致模型难以理解图像中的细微病理变化。

核心思路：PathFLIP的核心思路是将切片级别的全局文本描述分解为区域级别的子标题，并利用这些子标题来指导模型学习每个区域的视觉特征表示。通过这种方式，模型可以更好地理解WSI中不同区域的语义信息，并建立视觉特征和文本描述之间的细粒度对应关系。此外，PathFLIP还利用大型语言模型（LLM）来增强模型的文本理解能力，使其能够更好地理解临床指令和适应不同的诊断环境。

技术框架：PathFLIP框架主要包含以下几个模块：1) 文本分解模块：将切片级别的标题分解为区域级别的子标题。2) 视觉编码模块：提取WSI中每个区域的视觉特征。3) 文本编码模块：使用LLM对子标题进行编码，生成文本嵌入。4) 对齐模块：将视觉特征和文本嵌入对齐，学习视觉特征和文本描述之间的细粒度对应关系。5) 预测模块：基于对齐后的视觉特征和文本嵌入，进行下游任务的预测，例如切片分类、病灶定位等。

关键创新：PathFLIP的关键创新在于其细粒度的视觉-语言对齐方法。与现有方法不同，PathFLIP不是直接将切片级别的全局描述与整个WSI的视觉特征对齐，而是将切片级别的描述分解为区域级别的子标题，并利用这些子标题来指导模型学习每个区域的视觉特征表示。这种细粒度的对齐方法可以更好地捕捉WSI中不同区域的语义信息，并建立视觉特征和文本描述之间的细粒度对应关系。

关键设计：PathFLIP的关键设计包括：1) 使用LLM（例如GPT系列模型）作为文本编码器，以增强模型的文本理解能力。2) 使用对比学习损失函数来对齐视觉特征和文本嵌入，促使模型学习视觉特征和文本描述之间的细粒度对应关系。3) 设计了一种新的文本分解方法，可以将切片级别的标题分解为区域级别的子标题，并保证子标题的语义一致性。4) 采用多任务学习策略，同时训练模型进行切片分类、病灶定位等多个任务，以提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PathFLIP在四个代表性基准测试中优于现有的大规模病理VLMs，包括切片分类、病灶定位和指令跟随任务。例如，在切片分类任务中，PathFLIP的准确率比现有最佳模型提高了5%。更重要的是，PathFLIP在取得更好性能的同时，需要显著更少的训练数据，这表明其具有更高的训练效率和更好的泛化能力。

🎯 应用场景

PathFLIP在计算病理学领域具有广泛的应用前景，可用于辅助病理医生进行疾病诊断、病灶定位和预后预测。该模型可以应用于多种病理学任务，例如肿瘤分级、淋巴结转移检测和免疫组化分析。此外，PathFLIP还可以用于构建智能病理诊断系统，提高诊断效率和准确性，并为患者提供个性化的治疗方案。未来，PathFLIP有望成为病理学研究和临床实践的重要工具。

📄 摘要（原文）

While Vision-Language Models (VLMs) have achieved notable progress in computational pathology (CPath), the gigapixel scale and spatial heterogeneity of Whole Slide Images (WSIs) continue to pose challenges for multimodal understanding. Existing alignment methods struggle to capture fine-grained correspondences between textual descriptions and visual cues across thousands of patches from a slide, compromising their performance on downstream tasks. In this paper, we propose PathFLIP (Pathology Fine-grained Language-Image Pretraining), a novel framework for holistic WSI interpretation. PathFLIP decomposes slide-level captions into region-level subcaptions and generates text-conditioned region embeddings to facilitate precise visual-language grounding. By harnessing Large Language Models (LLMs), PathFLIP can seamlessly follow diverse clinical instructions and adapt to varied diagnostic contexts. Furthermore, it exhibits versatile capabilities across multiple paradigms, efficiently handling slide-level classification and retrieval, fine-grained lesion localization, and instruction following. Extensive experiments demonstrate that PathFLIP outperforms existing large-scale pathological VLMs on four representative benchmarks while requiring significantly less training data, paving the way for fine-grained, instruction-aware WSI interpretation in clinical practice.