Enhancing Thyroid Cytology Diagnosis with RAG-Optimized LLMs and Pa-thology Foundation Models

📄 arXiv: 2505.08590v1 📥 PDF

作者: Hussien Al-Asi, Jordan P Reynolds, Shweta Agarwal, Bryan J Dangott, Aziza Nassar, Zeynettin Akkus

分类: cs.CL, q-bio.QM

发布日期: 2025-05-13

💡 一句话要点

结合RAG优化LLM与病理学基础模型，提升甲状腺细胞学诊断水平

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 甲状腺细胞学 病理诊断 大型语言模型 检索增强生成 病理学基础模型

📋 核心要点

  1. 甲状腺细胞学诊断面临细胞判读主观性强、标准化程度低和诊断准确性不足等挑战。
  2. 利用RAG增强LLM，结合病理学基础模型，动态检索相关知识，提升LLM上下文理解和特征提取能力。
  3. 实验结果表明，该方法显著提高了诊断效率和可解释性，基础模型UNI的AUC达到0.73-0.93。

📝 摘要（中文）

本研究探索了结合检索增强生成（RAG）的大型语言模型（LLM）与病理学基础模型在甲状腺细胞学诊断中的应用。该方法旨在解决细胞学判读、标准化和诊断准确性方面的挑战。RAG通过利用精选的知识库，动态检索相关案例研究、诊断标准和专家解读，从而提高LLM的上下文理解能力。同时，在病理图像上训练的病理学基础模型，能够优化特征提取和分类能力。这种AI驱动方法的融合增强了诊断一致性，减少了变异性，并支持病理学家区分良性和恶性甲状腺病变。结果表明，将RAG与病理学特定的LLM集成，显著提高了诊断效率和可解释性，为AI辅助甲状腺细胞病理学铺平了道路，其中基础模型UNI在甲状腺细胞学样本中正确预测手术病理诊断的AUC达到了0.73-0.93。

🔬 方法详解

问题定义：甲状腺细胞学诊断中，病理学家需要根据细胞形态学特征判断病变性质，但主观性强，不同病理学家之间存在差异，且缺乏标准化的判读流程。现有方法难以有效利用海量病理知识和案例，导致诊断准确率受限。

核心思路：论文的核心思路是将大型语言模型（LLM）与检索增强生成（RAG）相结合，并引入病理学领域的基础模型。RAG负责从知识库中检索相关信息，为LLM提供上下文，基础模型则负责从病理图像中提取特征，从而提高LLM的诊断能力。这样设计的目的是为了克服LLM在专业领域知识不足的问题，并提升其对病理图像的理解能力。

技术框架：整体框架包含三个主要模块：1) 病理图像输入与特征提取：使用病理学基础模型（如UNI）从高分辨率病理图像中提取特征。2) RAG模块：根据输入的细胞学描述，从预先构建的知识库中检索相关的案例研究、诊断标准和专家解读。3) LLM诊断模块：将提取的图像特征和检索到的知识输入LLM，由LLM进行诊断预测。

关键创新：该方法最重要的创新点在于将RAG与病理学领域的基础模型相结合，用于甲状腺细胞学诊断。RAG增强了LLM的上下文理解能力，使其能够更好地利用病理知识，而基础模型则提高了图像特征提取的准确性。这种结合克服了传统方法中LLM专业知识不足和图像理解能力有限的问题。

关键设计：知识库的构建是RAG的关键，需要精心选择和组织相关案例、诊断标准和专家解读。基础模型的选择和训练也至关重要，需要使用大量的病理图像数据进行训练，以提高特征提取的准确性。此外，LLM的选择和微调也需要考虑，需要选择具有较强推理能力的LLM，并使用甲状腺细胞学相关的文本数据进行微调。

📊 实验亮点

实验结果表明，结合RAG的LLM与病理学基础模型显著提高了甲状腺细胞学诊断的准确性。具体而言，使用基础模型UNI，在甲状腺细胞学样本中正确预测手术病理诊断的AUC达到了0.73-0.93。这表明该方法在区分良性和恶性甲状腺病变方面具有很高的潜力。

🎯 应用场景

该研究成果可应用于临床甲状腺细胞学诊断，辅助病理学家进行诊断决策，提高诊断准确性和一致性，减少误诊率。此外，该方法还可推广到其他病理学领域，例如乳腺、肺部等，具有广阔的应用前景。未来，结合远程医疗和AI技术，可以实现远程病理诊断，解决医疗资源不均衡的问题。

📄 摘要（原文）

Advancements in artificial intelligence (AI) are transforming pathology by integrat-ing large language models (LLMs) with retrieval-augmented generation (RAG) and domain-specific foundation models. This study explores the application of RAG-enhanced LLMs coupled with pathology foundation models for thyroid cytology diagnosis, addressing challenges in cytological interpretation, standardization, and diagnostic accuracy. By leveraging a curated knowledge base, RAG facilitates dy-namic retrieval of relevant case studies, diagnostic criteria, and expert interpreta-tion, improving the contextual understanding of LLMs. Meanwhile, pathology foun-dation models, trained on high-resolution pathology images, refine feature extrac-tion and classification capabilities. The fusion of these AI-driven approaches en-hances diagnostic consistency, reduces variability, and supports pathologists in dis-tinguishing benign from malignant thyroid lesions. Our results demonstrate that integrating RAG with pathology-specific LLMs significantly improves diagnostic efficiency and interpretability, paving the way for AI-assisted thyroid cytopathology, with foundation model UNI achieving AUC 0.73-0.93 for correct prediction of surgi-cal pathology diagnosis from thyroid cytology samples.