The use of large language models to enhance cancer clinical trial educational materials

📄 arXiv: 2412.01955v2 📥 PDF

作者: Mingye Gao, Aman Varshney, Shan Chen, Vikram Goddla, Jack Gallifant, Patrick Doyle, Claire Novack, Maeve Dillon-Martin, Teresia Perkins, Xinrong Correia, Erik Duhaime, Howard Isenstein, Elad Sharon, Lisa Soleymani Lehmann, David Kozono, Brian Anthony, Dmitriy Dligach, Danielle S. Bitterman

分类: cs.CL, cs.AI

发布日期: 2024-12-02 (更新: 2024-12-04)

💡 一句话要点

利用大型语言模型增强癌症临床试验宣教材料的可读性和理解性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 临床试验 患者教育 零样本学习 单样本学习 自然语言生成 GPT4

📋 核心要点

  1. 癌症临床试验面临招募和参与挑战，原因是缺乏面向患者的易于理解的教育资源。
  2. 本研究利用GPT4等大型语言模型，从临床试验知情同意书中自动生成患者友好的摘要和多项选择题。
  3. 实验表明，GPT4生成的摘要具有良好的可读性和全面性，能提高患者对临床试验的理解和兴趣。

📝 摘要（中文）

由于缺乏面向参与者的信息和教育资源，癌症临床试验在招募和参与方面常常面临挑战。本研究探讨了大型语言模型（LLM），特别是GPT4，在从临床试验知情同意书中生成患者友好的教育内容方面的潜力。我们使用来自ClinicalTrials.gov的数据，采用零样本学习创建试验摘要，并采用单样本学习开发多项选择题，通过患者调查和众包标注评估其有效性。结果表明，GPT4生成的摘要既具有可读性又具有全面性，并且可以提高患者对临床试验的理解和兴趣。多项选择题表现出很高的准确性，并与众包标注者达成一致。对于这两种资源类型，都识别出了需要持续人工监督的幻觉问题。研究结果表明，LLM具有“开箱即用”的潜力，可以在最少试验特定工程的情况下支持临床试验教育材料的生成，但仍需要人机协作才能避免错误信息风险。

🔬 方法详解

问题定义：本研究旨在解决癌症临床试验中患者招募和参与度低的问题。现有方法依赖于人工编写的教育材料，耗时且难以保证质量和一致性。此外，患者往往难以理解专业的医学术语，导致对临床试验的兴趣和参与度降低。

核心思路：本研究的核心思路是利用大型语言模型（LLM）的自然语言生成能力，自动从临床试验的知情同意书中提取关键信息，并将其转化为患者友好的教育材料。通过零样本和单样本学习，减少对大量标注数据的依赖，降低开发成本。

技术框架：整体流程包括以下几个阶段：1) 数据收集：从ClinicalTrials.gov收集临床试验的知情同意书。2) 摘要生成：使用GPT4进行零样本学习，生成临床试验的摘要。3) 多项选择题生成：使用GPT4进行单样本学习，生成用于评估患者理解程度的多项选择题。4) 评估：通过患者调查和众包标注，评估生成的摘要和多项选择题的质量。

关键创新：本研究的关键创新在于探索了LLM在临床试验教育材料生成方面的潜力，并验证了其“开箱即用”的能力。与传统的依赖人工编写的方法相比，该方法能够显著提高效率，并降低成本。此外，通过零样本和单样本学习，减少了对大量标注数据的需求。

关键设计：在摘要生成方面，采用零样本学习，直接将知情同意书输入GPT4，并要求其生成摘要。在多项选择题生成方面，采用单样本学习，提供一个示例，然后让GPT4根据其他知情同意书生成多项选择题。评估指标包括可读性、全面性、准确性和一致性。研究人员还关注了LLM可能产生的幻觉问题，并强调了人工监督的重要性。

📊 实验亮点

实验结果表明，GPT4生成的临床试验摘要具有良好的可读性和全面性，能够提高患者对临床试验的理解和兴趣。多项选择题的准确性很高，与众包标注者达成一致。尽管存在幻觉问题，但通过人工监督可以有效降低风险。该研究验证了LLM在临床试验教育材料生成方面的潜力。

🎯 应用场景

该研究成果可应用于癌症临床试验的患者招募和教育，提高患者对试验的理解和参与度。此外，该方法还可以推广到其他医学领域，用于生成各种患者友好的教育材料，例如疾病科普、用药指导等。未来，结合人机协作，可以进一步提高生成内容的质量和可靠性，为患者提供更优质的医疗信息服务。

📄 摘要（原文）

Cancer clinical trials often face challenges in recruitment and engagement due to a lack of participant-facing informational and educational resources. This study investigated the potential of Large Language Models (LLMs), specifically GPT4, in generating patient-friendly educational content from clinical trial informed consent forms. Using data from ClinicalTrials.gov, we employed zero-shot learning for creating trial summaries and one-shot learning for developing multiple-choice questions, evaluating their effectiveness through patient surveys and crowdsourced annotation. Results showed that GPT4-generated summaries were both readable and comprehensive, and may improve patients' understanding and interest in clinical trials. The multiple-choice questions demonstrated high accuracy and agreement with crowdsourced annotators. For both resource types, hallucinations were identified that require ongoing human oversight. The findings demonstrate the potential of LLMs "out-of-the-box" to support the generation of clinical trial education materials with minimal trial-specific engineering, but implementation with a human-in-the-loop is still needed to avoid misinformation risks.