Prompt engineering paradigms for medical applications: scoping review and recommendations for better practices

📄 arXiv: 2405.01249v1 📥 PDF

作者: Jamil Zaghir, Marco Naguib, Mina Bjelogrlic, Aurélie Névéol, Xavier Tannier, Christian Lovis

分类: cs.CL, cs.LG

发布日期: 2024-05-02

期刊: Journal of Medical Internet Research, 26, e60501 (2024)

DOI: 10.2196/60501

💡 一句话要点

综述医学领域Prompt工程范式，为提升实践效果提供建议

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Prompt工程 大型语言模型 医学应用 综述研究 ChatGPT Chain-of-Thought Prompt设计 Prompt学习

📋 核心要点

  1. 医学领域Prompt工程应用面临专业术语和数据敏感性挑战，现有研究缺乏系统性分析。
  2. 该研究对医学领域Prompt工程范式进行综述，重点关注Prompt学习、调优和设计。
  3. 分析表明Prompt设计应用最广泛，但缺乏非Prompt基线对比，ChatGPT被用于处理敏感数据。

📝 摘要（中文）

Prompt工程对于发挥大型语言模型（LLMs）的潜力至关重要，尤其是在医学领域，该领域使用专门的术语和措辞。然而，Prompt工程在医学领域的有效性仍有待探索。本文回顾了114篇近期（2022-2024）在医学中应用Prompt工程的研究，涵盖Prompt学习（PL）、Prompt调优（PT）和Prompt设计（PD）。PD是最普遍的（78篇文章）。在12篇论文中，PD、PL和PT术语可以互换使用。ChatGPT是最常用的LLM，其中七篇论文使用它来处理敏感的临床数据。Chain-of-Thought是最常见的Prompt工程技术。虽然PL和PT文章通常提供评估基于Prompt方法的基础，但64%的PD研究缺乏非Prompt相关的基线。我们提供表格和图表，总结现有工作，并报告建议，以指导未来的研究贡献。

🔬 方法详解

问题定义：该论文旨在解决医学领域Prompt工程应用效果评估和实践指导的问题。现有方法存在的问题包括：缺乏对不同Prompt工程范式的系统性比较，缺乏非Prompt基线的对比，以及对敏感临床数据处理的安全性考虑不足。

核心思路：论文的核心思路是通过对大量医学领域Prompt工程相关文献进行综述和分析，总结现有研究的特点、优势和不足，并提出改进建议，从而为未来的研究提供指导。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 文献检索：系统性地搜索和筛选医学领域Prompt工程相关的研究论文；2) 分类和分析：将筛选出的论文按照Prompt学习（PL）、Prompt调优（PT）和Prompt设计（PD）等范式进行分类，并分析其应用场景、技术方法和实验结果；3) 总结和建议：总结现有研究的特点和不足，并针对Prompt设计、基线选择、数据安全等方面提出改进建议。

关键创新：该研究的关键创新在于：1) 对医学领域Prompt工程范式进行了全面的综述和分析，填补了该领域的空白；2) 明确指出了现有研究中存在的不足，如缺乏非Prompt基线的对比和对敏感数据处理的安全性考虑不足；3) 提出了针对性的改进建议，为未来的研究提供了指导。

关键设计：该研究的关键设计包括：1) 采用系统性的文献检索方法，确保了研究的全面性和客观性；2) 对不同Prompt工程范式进行了细致的分类和分析，揭示了其特点和适用场景；3) 针对现有研究的不足，提出了具体的改进建议，具有实际指导意义。

📊 实验亮点

该研究分析了114篇医学领域Prompt工程论文，发现Prompt设计（PD）是最常用的方法，但64%的PD研究缺乏非Prompt基线。ChatGPT被广泛使用，甚至用于处理敏感临床数据。Chain-of-Thought是最常见的Prompt工程技术。研究结果为未来医学Prompt工程研究提供了重要参考。

🎯 应用场景

该研究成果可应用于医学人工智能辅助诊断、治疗方案推荐、医学知识问答等领域。通过优化Prompt工程，可以提高LLMs在医学领域的应用效果，辅助医生进行决策，提升医疗服务质量，并促进医学研究的进展。未来的影响包括更精准的医疗服务和更高效的医学研究。

📄 摘要（原文）

Prompt engineering is crucial for harnessing the potential of large language models (LLMs), especially in the medical domain where specialized terminology and phrasing is used. However, the efficacy of prompt engineering in the medical domain remains to be explored. In this work, 114 recent studies (2022-2024) applying prompt engineering in medicine, covering prompt learning (PL), prompt tuning (PT), and prompt design (PD) are reviewed. PD is the most prevalent (78 articles). In 12 papers, PD, PL, and PT terms were used interchangeably. ChatGPT is the most commonly used LLM, with seven papers using it for processing sensitive clinical data. Chain-of-Thought emerges as the most common prompt engineering technique. While PL and PT articles typically provide a baseline for evaluating prompt-based approaches, 64% of PD studies lack non-prompt-related baselines. We provide tables and figures summarizing existing work, and reporting recommendations to guide future research contributions.