Using Large Language Models to Generate Clinical Trial Tables and Figures

📄 arXiv: 2409.12046v2 📥 PDF

作者: Yumeng Yang, Peter Krusche, Kristyn Pantoja, Cheng Shi, Ethan Ludmir, Kirk Roberts, Gen Zhu

分类: cs.CL

发布日期: 2024-09-18 (更新: 2024-09-19)

💡 一句话要点

利用大型语言模型自动生成临床试验表格和图表，提升报告效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 临床试验 表格生成 图表生成 提示工程 少样本学习 自动化报告 ADaM格式

📋 核心要点

  1. 临床试验报告中表格和图表的生成耗时费力，现有方法自动化程度低，效率提升空间大。
  2. 该论文探索利用大型语言模型，通过提示工程和少样本学习，实现临床试验表格和图表的自动生成。
  3. 实验结果表明，大型语言模型能够根据提示指令高效生成表格和图表，展现了其在该领域的巨大潜力。

📝 摘要（中文）

表格、图表和列表（TFLs）是总结临床试验数据的关键工具。在临床试验执行过程中，创建用于报告的TFLs通常是一项耗时的任务。本研究探索了使用大型语言模型（LLMs）通过提示工程和少样本迁移学习来自动化生成TFLs。使用ADaM格式的公共临床试验数据，我们的结果表明，LLMs可以通过提示指令有效地生成TFLs，展示了它们在该领域的潜力。此外，我们开发了一个名为“临床试验TFL生成代理”的对话式代理：一个将用户查询与预定义提示匹配的应用程序，这些提示生成定制程序以生成特定的预定义TFLs。

🔬 方法详解

问题定义：临床试验数据报告中，表格、图表和列表（TFLs）的生成是一项重复且耗时的任务。传统方法依赖人工或半自动化的脚本，效率低下且容易出错。现有的痛点在于缺乏一种能够快速、准确地根据临床试验数据生成高质量TFLs的自动化方法。

核心思路：该论文的核心思路是利用大型语言模型（LLMs）强大的文本生成和理解能力，将TFLs的生成过程转化为一个提示工程问题。通过精心设计的提示（prompts），引导LLMs理解临床试验数据的结构和目标TFLs的格式，从而自动生成相应的代码或直接生成TFLs。

技术框架：该研究主要包含两个部分：1) 利用提示工程和少样本学习，直接使用LLMs生成TFLs；2) 开发一个名为“临床试验TFL生成代理”的对话式代理。该代理将用户查询与预定义的提示匹配，然后利用这些提示生成定制程序，最终生成用户所需的特定TFLs。整体流程是从用户输入查询开始，经过提示匹配、程序生成，最终输出TFLs。

关键创新：该研究的关键创新在于将大型语言模型应用于临床试验TFLs的自动生成。与传统的脚本编写方法相比，该方法无需人工编写复杂的代码，而是通过提示工程和少样本学习，让LLMs自动学习和生成TFLs。这种方法大大降低了开发成本，提高了生成效率。

关键设计：该研究的关键设计包括：1) 提示的设计：如何设计有效的提示，引导LLMs生成符合要求的TFLs？这需要对临床试验数据的结构和TFLs的格式有深入的理解。2) 少样本学习：如何利用少量的示例数据，让LLMs快速适应不同的临床试验数据和TFLs格式？3) 对话式代理的设计：如何将用户查询与预定义的提示进行有效匹配，并生成相应的程序？这些都是需要仔细考虑的技术细节。

📊 实验亮点

该研究表明，大型语言模型可以通过提示指令有效地生成临床试验的表格和图表。通过开发一个对话式代理，用户可以通过简单的查询生成定制化的TFLs，显著提高了效率。虽然论文中没有给出具体的性能数据，但其展示了LLMs在自动化TFLs生成方面的巨大潜力。

🎯 应用场景

该研究成果可广泛应用于医药研发、临床试验管理等领域，加速临床试验报告的生成，降低人力成本，提高数据分析效率。未来，该技术有望扩展到其他类型的结构化数据报告生成，例如财务报表、市场调研报告等，具有广阔的应用前景。

📄 摘要（原文）

Tables, figures, and listings (TFLs) are essential tools for summarizing clinical trial data. Creation of TFLs for reporting activities is often a time-consuming task encountered routinely during the execution of clinical trials. This study explored the use of large language models (LLMs) to automate the generation of TFLs through prompt engineering and few-shot transfer learning. Using public clinical trial data in ADaM format, our results demonstrated that LLMs can efficiently generate TFLs with prompt instructions, showcasing their potential in this domain. Furthermore, we developed a conservational agent named Clinical Trial TFL Generation Agent: An app that matches user queries to predefined prompts that produce customized programs to generate specific predefined TFLs.