CPathAgent: An Agent-based Foundation Model for Interpretable High-Resolution Pathology Image Analysis Mimicking Pathologists' Diagnostic Logic

📄 arXiv: 2505.20510v2 📥 PDF

作者: Yuxuan Sun, Yixuan Si, Chenglu Zhu, Kai Zhang, Zhongyi Shui, Bowen Ding, Tao Lin, Lin Yang

分类: cs.CV

发布日期: 2025-05-26 (更新: 2025-10-28)

备注: 52 pages, 34 figures

💡 一句话要点

提出CPathAgent以解决病理图像分析中的可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 计算病理学 可解释性 图像分析 多阶段训练 病理学家模拟 全切片图像 代理模型

📋 核心要点

  1. 现有的计算病理学模型无法模拟病理学家的系统性诊断流程，导致缺乏可解释性。
  2. CPathAgent通过自主导航全切片图像，模仿病理学家的诊断逻辑，提供更透明的诊断总结。
  3. 实验结果表明，CPathAgent在三个不同图像尺度的基准测试中均优于现有方法，验证了其有效性。

📝 摘要（中文）

近年来，计算病理学的进展催生了众多基础模型，这些模型通常依赖于通用编码器进行全切片图像分类，或采用多模态方法直接从图像生成报告。然而，这些模型无法模拟病理学家的诊断方法。为此，本文提出CPathAgent，一种基于代理的创新方法，能够模仿病理学家的诊断工作流程，生成更透明和可解释的诊断总结。通过多阶段训练策略，CPathAgent整合了不同图像尺度的能力，并在PathMMU-HR2基准上进行了验证，显示出其在多个基准测试中均优于现有方法。

🔬 方法详解

问题定义：本文旨在解决现有病理图像分析模型缺乏可解释性的问题。这些模型通常直接输出最终诊断，而未揭示其推理过程，无法模拟病理学家的诊断逻辑。

核心思路：CPathAgent通过模仿病理学家的工作流程，采用自主导航的方式分析全切片图像，结合多阶段训练策略，整合不同层次的图像理解能力，以实现更高的透明度和可解释性。

技术框架：CPathAgent的整体架构包括多个阶段，首先在补丁级别进行特征提取，然后在区域级别和全切片级别进行综合分析，确保模型能够在不同尺度上进行有效推理。

关键创新：CPathAgent的主要创新在于其代理驱动的诊断方法，能够模拟病理学家的逐步检查过程，与现有方法直接输出诊断的方式形成鲜明对比。

关键设计：在模型设计中，采用了多阶段训练策略，结合补丁、区域和全切片的能力，确保模型在不同图像尺度上均能有效工作。损失函数和网络结构经过精心设计，以优化模型的学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，CPathAgent在三个不同图像尺度上均表现出色，超越了现有的计算病理学方法。具体而言，CPathAgent在PathMMU-HR2基准上显示出显著的性能提升，验证了其有效性和创新性。

🎯 应用场景

CPathAgent在病理图像分析中的潜在应用包括辅助病理学家进行诊断、提高诊断的透明度和可解释性。该研究的实际价值在于能够提升病理学的工作效率，并为临床决策提供更可靠的支持。未来，CPathAgent可能在其他医学影像分析领域也具有广泛的应用前景。

📄 摘要（原文）

Recent advances in computational pathology have led to the emergence of numerous foundation models. These models typically rely on general-purpose encoders with multi-instance learning for whole slide image (WSI) classification or apply multimodal approaches to generate reports directly from images. However, these models cannot emulate the diagnostic approach of pathologists, who systematically examine slides at low magnification to obtain an overview before progressively zooming in on suspicious regions to formulate comprehensive diagnoses. Instead, existing models directly output final diagnoses without revealing the underlying reasoning process. To address this gap, we introduce CPathAgent, an innovative agent-based approach that mimics pathologists' diagnostic workflow by autonomously navigating across WSI based on observed visual features, thereby generating substantially more transparent and interpretable diagnostic summaries. To achieve this, we develop a multi-stage training strategy that unifies patch-level, region-level, and WSI-level capabilities within a single model, which is essential for replicating how pathologists understand and reason across diverse image scales. Additionally, we construct PathMMU-HR2, the first expert-validated benchmark for large region analysis. This represents a critical intermediate scale between patches and whole slides, reflecting a key clinical reality where pathologists typically examine several key large regions rather than entire slides at once. Extensive experiments demonstrate that CPathAgent consistently outperforms existing approaches across benchmarks at three different image scales, validating the effectiveness of our agent-based diagnostic approach and highlighting a promising direction for computational pathology.