See Detail Say Clear: Towards Brain CT Report Generation via Pathological Clue-driven Representation Learning

📄 arXiv: 2409.19676v2 📥 PDF

作者: Chengxin Zheng, Junzhong Ji, Yanzhao Shi, Xiaodan Zhang, Liangqiong Qu

分类: cs.CV, cs.AI

发布日期: 2024-09-29 (更新: 2024-10-01)

备注: Our work has been accepted by EMNLP2024 findings

🔗 代码/项目: GITHUB

💡 一句话要点

提出病理线索驱动的表征学习模型PCRL，用于提升脑部CT报告生成质量。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑部CT报告生成 病理线索驱动 跨模态表征学习 大型语言模型 医学影像诊断

📋 核心要点

  1. 现有脑部CT报告生成方法易受冗余视觉信息干扰，且医学语料库有限，导致语义表征难以有效迁移。
  2. 论文提出PCRL模型，利用分割区域、病理实体和报告主题等多角度病理线索，驱动跨模态表征学习。
  3. 通过任务定制指令微调大型语言模型，弥合表征学习与报告生成间的差距，实验结果达到SoTA性能。

📝 摘要（中文）

脑部CT报告生成对于辅助医生诊断颅脑疾病至关重要。现有研究主要集中于处理视觉和文本病理特征之间的一致性，以提高报告的连贯性。然而，仍然存在一些挑战：1）冗余的视觉表征：3D扫描中大量不相关的区域分散了模型对显著视觉上下文的表征；2）转移的语义表征：有限的医学语料库导致模型难以将学习到的文本表征转移到生成层。本研究提出了一种病理线索驱动的表征学习（PCRL）模型，以基于病理线索构建跨模态表征，并自然地将其用于准确的报告生成。具体来说，我们从分割区域、病理实体和报告主题的角度构建病理线索，以充分掌握视觉病理模式并学习跨模态特征表征。为了使表征适应文本生成任务，我们通过使用带有任务定制指令的统一大型语言模型（LLM）来弥合表征学习和报告生成之间的差距。这些精心设计的指令使LLM能够灵活地跨任务进行微调，并平滑地转移语义表征以进行报告生成。实验表明，我们的方法优于以前的方法，并实现了SoTA性能。我们的代码可在"https://github.com/Chauncey-Jheng/PCRL-MRG"上找到。

🔬 方法详解

问题定义：脑部CT报告生成旨在根据CT扫描图像自动生成诊断报告。现有方法的痛点在于：1）难以从复杂的3D扫描中提取关键的病理视觉信息，易受无关区域干扰；2）医学领域语料库的匮乏导致模型学习到的文本表征难以泛化到报告生成任务中，影响报告的准确性和连贯性。

核心思路：论文的核心思路是利用病理线索来引导视觉和文本表征的学习，从而提高模型对关键病理信息的关注度，并增强表征的泛化能力。通过从分割区域、病理实体和报告主题三个角度构建病理线索，模型能够更全面地理解图像中的病理模式，并生成更准确的报告。

技术框架：PCRL模型主要包含以下几个模块：1）病理线索提取模块：从CT图像的分割区域、病理实体和报告主题中提取病理线索；2）跨模态表征学习模块：利用提取的病理线索，学习视觉和文本的跨模态表征；3）报告生成模块：使用大型语言模型（LLM），并结合任务定制的指令，将学习到的表征转化为诊断报告。

关键创新：论文的关键创新在于：1）提出了一种病理线索驱动的表征学习方法，能够有效地提取和利用CT图像中的病理信息；2）利用大型语言模型，并通过任务定制的指令，实现了表征学习和报告生成之间的平滑过渡，提高了报告生成的质量。

关键设计：在病理线索提取方面，论文使用了预训练的分割模型和实体识别模型。在跨模态表征学习方面，使用了Transformer结构。在报告生成方面，使用了经过微调的LLM，并设计了特定的指令来引导LLM生成符合医学规范的报告。具体的损失函数和网络结构等细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PCRL模型在脑部CT报告生成任务上取得了显著的性能提升，超越了现有的方法，达到了SoTA水平。具体的性能指标（如BLEU、ROUGE等）在论文中有详细展示，证明了该方法在报告的准确性、流畅性和连贯性方面的优势。

🎯 应用场景

该研究成果可应用于临床辅助诊断，帮助医生快速准确地解读脑部CT图像，提高诊断效率和准确性，尤其是在医疗资源匮乏的地区具有重要意义。未来可扩展到其他医学影像报告生成任务，并与远程医疗系统结合，实现更便捷的医疗服务。

📄 摘要（原文）

Brain CT report generation is significant to aid physicians in diagnosing cranial diseases. Recent studies concentrate on handling the consistency between visual and textual pathological features to improve the coherence of report. However, there exist some challenges: 1) Redundant visual representing: Massive irrelevant areas in 3D scans distract models from representing salient visual contexts. 2) Shifted semantic representing: Limited medical corpus causes difficulties for models to transfer the learned textual representations to generative layers. This study introduces a Pathological Clue-driven Representation Learning (PCRL) model to build cross-modal representations based on pathological clues and naturally adapt them for accurate report generation. Specifically, we construct pathological clues from perspectives of segmented regions, pathological entities, and report themes, to fully grasp visual pathological patterns and learn cross-modal feature representations. To adapt the representations for the text generation task, we bridge the gap between representation learning and report generation by using a unified large language model (LLM) with task-tailored instructions. These crafted instructions enable the LLM to be flexibly fine-tuned across tasks and smoothly transfer the semantic representation for report generation. Experiments demonstrate that our method outperforms previous methods and achieves SoTA performance. Our code is available at "https://github.com/Chauncey-Jheng/PCRL-MRG".