Assessing and Mitigating Medical Knowledge Drift and Conflicts in Large Language Models

📄 arXiv: 2505.07968v3 📥 PDF

作者: Weiyi Wu, Xinwen Xu, Chongyang Gao, Xingjian Diao, Siting Li, Lucas A. Salas, Jiang Gui

分类: cs.CL

发布日期: 2025-05-12 (更新: 2025-09-07)

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出 DriftMedQA 基准，评估并缓解大语言模型中医学知识漂移与冲突问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 医学知识漂移 知识冲突 检索增强生成 直接偏好优化 临床指南 DriftMedQA

📋 核心要点

  1. 现有大语言模型难以适应快速演变的医学知识，导致给出过时或矛盾的临床建议。
  2. 论文提出 DriftMedQA 基准，模拟临床指南演变，用于评估大语言模型的时间可靠性。
  3. 结合检索增强生成和直接偏好优化微调，能有效提升模型在医学知识更新方面的性能。

📝 摘要（中文）

大型语言模型(LLMs)在医疗保健领域具有巨大潜力，但也面临着适应快速发展的医学知识的巨大挑战，这可能导致过时或矛盾的治疗建议。本研究调查了LLMs如何应对不断演变的临床指南，重点关注概念漂移和内部不一致性。我们开发了DriftMedQA基准来模拟指南演变，并评估了各种LLMs的时间可靠性。我们对七个最先进的模型在4,290个场景中的评估表明，它们难以拒绝过时的建议，并且经常认可相互冲突的指导。此外，我们探索了两种缓解策略：检索增强生成和通过直接偏好优化进行偏好微调。虽然每种方法都提高了模型性能，但它们的结合产生了最一致和可靠的结果。这些发现强调需要提高LLM对时间变化的鲁棒性，以确保在临床实践中更可靠的应用。数据集可在https://huggingface.co/datasets/RDBH/DriftMed 获取。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在医疗领域应用时，由于医学知识快速更新迭代而产生的知识漂移和内部知识冲突问题。现有方法难以有效识别和拒绝过时的医学建议，并且可能同时认可相互矛盾的指导方针，导致临床决策风险。

核心思路：论文的核心思路是通过构建一个模拟临床指南演变的基准测试（DriftMedQA），来评估不同LLM在面对医学知识更新时的表现。同时，探索检索增强生成（RAG）和直接偏好优化（DPO）微调两种策略，以提高模型对新知识的适应性和一致性。

技术框架：整体框架包括三个主要部分：1) 构建DriftMedQA基准，该基准包含模拟临床指南演变的问答对；2) 使用DriftMedQA评估多个先进的LLM，分析其在知识漂移和冲突方面的表现；3) 应用RAG和DPO微调策略，并评估其缓解效果。RAG通过检索相关医学知识来增强模型生成能力，DPO则通过优化模型偏好来提高生成结果的一致性和准确性。

关键创新：论文的关键创新在于：1) 提出了 DriftMedQA 基准，为评估 LLM 在医学知识更新方面的能力提供了一个标准化的平台；2) 探索了 RAG 和 DPO 结合使用的方法，以更有效地缓解医学知识漂移和冲突问题；3) 实验结果表明，结合 RAG 和 DPO 可以显著提高 LLM 在医学领域的可靠性和一致性。

关键设计：DriftMedQA基准的设计考虑了临床指南的演变过程，包含了不同时间点的医学知识。RAG 策略中，检索模块需要选择合适的医学知识库和检索算法。DPO 微调中，需要设计合适的偏好数据集，并调整 DPO 的超参数，以达到最佳的微调效果。具体的损失函数和网络结构细节未在摘要中详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在 DriftMedQA 基准上，七个最先进的模型在拒绝过时建议和避免冲突指导方面表现不佳。单独使用 RAG 或 DPO 都能提升模型性能，但结合使用 RAG 和 DPO 能够取得最一致和可靠的结果。具体的性能提升数据未在摘要中给出，但强调了联合策略的有效性。

🎯 应用场景

该研究成果可应用于开发更可靠的医疗决策支持系统，辅助医生进行诊断和治疗方案选择。通过提高大语言模型对医学知识更新的适应性，可以减少因使用过时或错误信息而导致的医疗风险，提升医疗服务的质量和效率。未来，该研究可以扩展到其他知识密集型领域，例如法律、金融等。

📄 摘要（原文）

Large Language Models (LLMs) have great potential in the field of health care, yet they face great challenges in adapting to rapidly evolving medical knowledge. This can lead to outdated or contradictory treatment suggestions. This study investigated how LLMs respond to evolving clinical guidelines, focusing on concept drift and internal inconsistencies. We developed the DriftMedQA benchmark to simulate guideline evolution and assessed the temporal reliability of various LLMs. Our evaluation of seven state-of-the-art models across 4,290 scenarios demonstrated difficulties in rejecting outdated recommendations and frequently endorsing conflicting guidance. Additionally, we explored two mitigation strategies: Retrieval-Augmented Generation and preference fine-tuning via Direct Preference Optimization. While each method improved model performance, their combination led to the most consistent and reliable results. These findings underscore the need to improve LLM robustness to temporal shifts to ensure more dependable applications in clinical practice. The dataset is available at https://huggingface.co/datasets/RDBH/DriftMed.