Evaluation of Clinical Trials Reporting Quality using Large Language Models

📄 arXiv: 2510.04338v1 📥 PDF

作者: Mathieu Laï-king, Patrick Paroubek

分类: cs.CL

发布日期: 2025-10-05

期刊: Revue TAL 65.2, 2024

💡 一句话要点

利用大型语言模型评估临床试验报告质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 临床试验报告 报告质量评估 CONSORT标准 思维链

📋 核心要点

  1. 临床试验报告质量直接影响临床决策，但人工评估耗时且成本高昂。
  2. 论文提出利用大型语言模型自动评估临床试验报告质量，降低评估成本。
  3. 实验结果表明，结合思维链提示，模型在CONSORT标准评估中达到85%准确率。

📝 摘要（中文）

报告质量是临床试验研究文章中的一个重要议题，因为它会影响临床决策。本文测试了大型语言模型使用临床试验报告统一标准（CONSORT）评估此类文章报告质量的能力。我们创建了CONSORT-QA，这是一个基于两项关于CONSORT-abstract标准下摘要报告质量研究的评估语料库。然后，我们评估了不同的大型生成语言模型（来自通用领域或适应于生物医学领域）使用不同的已知提示方法（包括思维链）正确评估CONSORT标准的能力。我们最佳的模型和提示方法组合达到了85%的准确率。使用思维链为模型完成任务的推理过程增加了有价值的信息。

🔬 方法详解

问题定义：临床试验报告的质量对于临床决策至关重要。然而，人工评估报告质量既耗时又容易出错。现有的方法缺乏自动化和可扩展性，难以应对大量的临床试验报告。因此，需要一种自动化的方法来评估临床试验报告的质量，以提高效率和准确性。

核心思路：本文的核心思路是利用大型语言模型（LLM）的自然语言理解和生成能力，自动评估临床试验报告的质量。通过将临床试验报告作为输入，LLM可以根据预定义的评估标准（例如CONSORT）生成评估结果。这种方法可以大大减少人工评估的工作量，并提高评估的一致性和客观性。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 构建评估语料库CONSORT-QA，该语料库包含临床试验报告摘要以及对应的CONSORT评估标签；2) 选择和微调大型语言模型，包括通用领域的LLM和生物医学领域的LLM；3) 设计不同的提示方法，包括思维链（Chain-of-Thought）提示，以引导LLM进行推理和评估；4) 使用不同的模型和提示方法组合，在CONSORT-QA语料库上进行评估，并比较它们的性能。

关键创新：该研究的关键创新在于将大型语言模型应用于临床试验报告质量的自动评估。与传统的人工评估方法相比，该方法具有更高的效率和可扩展性。此外，该研究还探索了不同的提示方法，特别是思维链提示，以提高LLM的评估准确性和可解释性。

关键设计：该研究的关键设计包括：1) CONSORT-QA语料库的构建，确保语料库的质量和代表性；2) 模型选择，比较不同领域LLM的性能；3) 提示方法的设计，探索思维链提示对模型推理能力的影响；4) 评估指标的选择，使用准确率来衡量模型的评估性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，最佳的模型和提示方法组合达到了85%的准确率。使用思维链提示可以为模型完成任务的推理过程增加有价值的信息，从而提高评估的可解释性。该研究证明了大型语言模型在临床试验报告质量评估方面的潜力。

🎯 应用场景

该研究成果可应用于临床试验报告的自动审核和质量控制，帮助监管机构、研究机构和制药公司提高临床试验的透明度和可靠性。此外，该方法还可以扩展到其他类型的医学文献评估，例如系统综述和meta分析，具有广泛的应用前景。

📄 摘要（原文）

Reporting quality is an important topic in clinical trial research articles, as it can impact clinical decisions. In this article, we test the ability of large language models to assess the reporting quality of this type of article using the Consolidated Standards of Reporting Trials (CONSORT). We create CONSORT-QA, an evaluation corpus from two studies on abstract reporting quality with CONSORT-abstract standards. We then evaluate the ability of different large generative language models (from the general domain or adapted to the biomedical domain) to correctly assess CONSORT criteria with different known prompting methods, including Chain-of-thought. Our best combination of model and prompting method achieves 85% accuracy. Using Chain-of-thought adds valuable information on the model's reasoning for completing the task.