Fine Tuning Large Language Models for Medicine: The Role and Importance of Direct Preference Optimization

📄 arXiv: 2409.12741v3 📥 PDF

作者: Thomas Savage, Stephen Ma, Abdessalem Boukil, Vishwesh Patel, Ekanath Rangan, Ivan Lopez, Jonathan H Chen

分类: cs.CL, cs.AI

发布日期: 2024-09-19 (更新: 2024-12-13)

💡 一句话要点

研究表明：直接偏好优化(DPO)微调提升医学领域大语言模型在复杂任务上的性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 微调 监督微调 直接偏好优化 医学自然语言处理

📋 核心要点

  1. 医学领域缺乏针对大语言模型微调方法选择的有效指导，特别是SFT和DPO两种方法的适用场景。
  2. 该研究对比SFT和DPO在医学自然语言任务上的表现，旨在为实际应用中选择合适的微调方法提供依据。
  3. 实验结果表明，DPO在临床推理、摘要和临床分诊等复杂任务上优于SFT，凸显了DPO在医学领域的潜力。

📝 摘要（中文）

大语言模型(LLM)微调在医学领域的应用尚未充分。监督微调(SFT)和直接偏好优化(DPO)是两种常见的微调方法，但缺乏指导用户何时使用哪种技术的依据。本研究比较了SFT和DPO在医学领域五个常见自然语言任务上的性能：文本数据分类、数值数据分类、临床推理、摘要和临床分诊。结果表明，SFT足以胜任文本数据分类，而DPO则提高了临床推理、摘要和临床分诊等更复杂任务的性能。我们的研究结果确立了DPO微调在医学领域的作用和重要性，并因此引起人们对当前阻碍该技术广泛部署的软件差距的关注。

🔬 方法详解

问题定义：论文旨在解决医学领域大语言模型微调方法选择的问题，特别是针对不同的医学自然语言处理任务，如何选择合适的微调方法（SFT或DPO）以获得最佳性能。现有方法缺乏针对性的指导，导致用户难以有效利用LLM解决医学问题。

核心思路：论文的核心思路是通过实验对比SFT和DPO在不同医学自然语言任务上的性能，从而揭示两种方法的优劣势，并为用户提供选择依据。这种思路基于实证研究，旨在为实际应用提供更可靠的指导。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择五个具有代表性的医学自然语言任务：文本数据分类、数值数据分类、临床推理、摘要和临床分诊；2) 分别使用SFT和DPO对LLM进行微调；3) 在每个任务上评估微调后的LLM的性能；4) 对比SFT和DPO的性能差异，分析其原因，并给出选择建议。

关键创新：该研究的关键创新在于针对医学领域的特定任务，系统性地比较了SFT和DPO两种微调方法的性能。以往的研究可能更多关注通用领域的LLM微调，而该研究则聚焦于医学领域，更具针对性和实用价值。此外，该研究还指出了当前阻碍DPO技术广泛部署的软件差距，为未来的研究方向提供了启示。

关键设计：论文中关于SFT和DPO的具体参数设置、损失函数以及网络结构等技术细节没有详细描述，属于未知信息。但是，可以推断，研究者可能使用了标准的SFT和DPO训练流程，并针对不同的医学任务进行了适当的调整。未来的研究可以进一步探索更优的参数设置和网络结构，以提升DPO在医学领域的性能。

📊 实验亮点

研究结果表明，对于文本数据分类任务，SFT已经足够有效。然而，对于更复杂的任务，如临床推理、摘要和临床分诊，DPO显著优于SFT。这表明DPO在处理需要更深层次理解和推理的医学自然语言任务时具有更大的潜力。具体的性能提升幅度未在摘要中给出，需要查阅原文。

🎯 应用场景

该研究成果可应用于多种医学场景，例如辅助医生进行临床决策、自动生成病历摘要、优化临床分诊流程等。通过选择合适的微调方法，可以提升LLM在医学领域的应用效果，提高医疗效率和质量，并最终改善患者的健康状况。未来，该研究可以进一步扩展到其他医学领域，例如药物研发、基因组学等。

📄 摘要（原文）

Large Language Model (LLM) fine tuning is underutilized in the field of medicine. Two of the most common methods of fine tuning are Supervised Fine Tuning (SFT) and Direct Preference Optimization (DPO), but there is little guidance informing users when to use either technique. In this investigation, we compare the performance of SFT and DPO for five common natural language tasks in medicine: Classification with text data, Classification with numeric data, Clinical Reasoning, Summarization, and Clinical Triage. We find that SFT alone is sufficient for Classification with text data, whereas DPO improves performance for the more complex tasks of Clinical Reasoning, Summarization and Clinical Triage. Our results establish the role and importance of DPO fine tuning within medicine, and consequently call attention to current software gaps that prevent widespread deployment of this technique.