A Large-Language Model Framework for Relative Timeline Extraction from PubMed Case Reports

📄 arXiv: 2504.12350v1 📥 PDF

作者: Jing Wang, Jeremy C Weiss

分类: cs.CL, cs.AI

发布日期: 2025-04-15

期刊: 2025 AMIA Informatics Summit Proceedings, March 10-13, Pittsburgh, PA

💡 一句话要点

提出基于大语言模型的框架，从PubMed病例报告中提取相对时间线

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 时间线提取 病例报告 自然语言处理 临床文本挖掘

📋 核心要点

  1. 临床事件时间信息对病程分析至关重要，但电子病历和临床报告缺乏结构化时间信息。
  2. 论文提出利用大语言模型将病例报告转换为文本时间序列，提取事件和时间戳。
  3. 实验表明，该方法在事件召回率上表现适中，但在时间一致性方面表现出色。

📝 摘要（中文）

临床事件的时间信息对于刻画患者的病程轨迹至关重要，这使得过程追踪、预测和因果推理等分析成为可能。然而，结构化的电子健康记录很少包含对这些任务至关重要的数据元素，而临床报告又缺乏结构化的事件时间定位。本文提出了一个系统，可以将病例报告转换为文本时间序列，即文本事件和时间戳的结构化配对。我们对比了人工标注（n=320）和大语言模型（LLM）标注（n=390）的十个随机抽样的PubMed开放获取（PMOA）病例报告（N=152,974），并评估了LLM之间的互评一致性（n=3,103; N=93）。结果表明，LLM模型具有适中的事件召回率（O1-preview: 0.80），但在已识别事件的时间一致性方面表现出色（O1-preview: 0.95）。通过建立任务、标注和评估系统，并展示高一致性，这项工作可以作为利用PMOA语料库进行时间分析的基准。

🔬 方法详解

问题定义：论文旨在解决从PubMed病例报告中自动提取临床事件时间线的问题。现有方法主要依赖人工标注或规则提取，成本高昂且难以扩展。临床报告中事件的时间信息分散且非结构化，使得自动提取具有挑战性。

核心思路：论文的核心思路是利用大语言模型（LLM）的强大文本理解和生成能力，将非结构化的病例报告转换为结构化的文本时间序列。通过提示工程（prompt engineering）引导LLM识别和提取事件及其对应的时间戳。

技术框架：该框架主要包含以下几个阶段：1) 数据准备：从PubMed开放获取（PMOA）病例报告中抽取文本数据。2) LLM标注：使用预训练的LLM，通过特定的prompt，对病例报告进行标注，提取事件和时间戳。3) 人工标注：对部分数据进行人工标注，作为评估LLM性能的基准。4) 评估：对比LLM标注和人工标注的结果，评估LLM在事件召回率和时间一致性方面的表现。

关键创新：该研究的关键创新在于将大语言模型应用于临床文本的时间线提取任务，并验证了其可行性和有效性。与传统方法相比，LLM具有更强的泛化能力和更低的标注成本。此外，该研究还构建了一个用于评估LLM性能的基准数据集。

关键设计：论文中使用了特定的prompt来引导LLM进行事件和时间戳的提取。具体prompt的设计细节未知，但推测其包含了任务描述、输入格式和输出格式等信息。论文中使用了事件召回率和时间一致性等指标来评估LLM的性能。具体的时间一致性计算方法未知。

📊 实验亮点

实验结果表明，该方法在事件召回率方面达到0.80（O1-preview），在时间一致性方面达到0.95（O1-preview）。这意味着LLM能够以较高的准确率提取病例报告中的事件和时间信息。虽然没有明确的基线对比，但该结果表明LLM在时间线提取任务中具有潜力。

🎯 应用场景

该研究成果可应用于临床决策支持、患者病程分析、药物研发等领域。通过自动提取病例报告中的时间线信息，可以帮助医生更好地了解患者的病情发展，从而制定更有效的治疗方案。此外，该技术还可以用于构建大规模的临床时间线数据库，为药物研发和疾病预测提供数据支持。

📄 摘要（原文）

Timing of clinical events is central to characterization of patient trajectories, enabling analyses such as process tracing, forecasting, and causal reasoning. However, structured electronic health records capture few data elements critical to these tasks, while clinical reports lack temporal localization of events in structured form. We present a system that transforms case reports into textual time series-structured pairs of textual events and timestamps. We contrast manual and large language model (LLM) annotations (n=320 and n=390 respectively) of ten randomly-sampled PubMed open-access (PMOA) case reports (N=152,974) and assess inter-LLM agreement (n=3,103; N=93). We find that the LLM models have moderate event recall(O1-preview: 0.80) but high temporal concordance among identified events (O1-preview: 0.95). By establishing the task, annotation, and assessment systems, and by demonstrating high concordance, this work may serve as a benchmark for leveraging the PMOA corpus for temporal analytics.