Clinical Reading Comprehension with Encoder-Decoder Models Enhanced by Direct Preference Optimization

📄 arXiv: 2407.14000v1 📥 PDF

作者: Md Sultan Al Nahian, Ramakanth Kavuluru

分类: cs.IR, cs.CL, cs.LG

发布日期: 2024-07-19

💡 一句话要点

提出基于直接偏好优化的Encoder-Decoder模型，显著提升临床文本阅读理解效果。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 临床文本阅读理解 Encoder-Decoder模型 直接偏好优化 抽取式问答 RadQA数据集

📋 核心要点

  1. 临床文本抽取式问答面临海量数据挑战，现有方法难以充分利用临床信息。
  2. 利用Encoder-Decoder模型结合直接偏好优化（DPO）方法，提升模型对临床文本的理解和推理能力。
  3. 在RadQA数据集上，该方法相较于现有技术，F1值提升了12-15个点，效果显著。

📝 摘要（中文）

本文针对医院中海量临床文本带来的挑战，提出了一种基于直接偏好优化（DPO）的Encoder-Decoder模型，用于临床文本上的抽取式问答任务。该方法结合了Encoder-Decoder模型的优势和偏好优化技术，在RadQA放射学问答任务上取得了显著的性能提升，F1值提高了12-15个点。据我们所知，这是首次证明DPO方法可以通过新颖的启发式方法生成偏好数据（无需人工输入）来有效应用于阅读理解任务。

🔬 方法详解

问题定义：本文旨在解决临床文本阅读理解中的抽取式问答问题。现有方法，如基于BERT的Encoder模型，在处理复杂的临床文本时，难以充分捕捉上下文信息，导致问答准确率不高。此外，如何有效利用无标注数据进行模型优化也是一个挑战。

核心思路：论文的核心思路是将Encoder-Decoder模型与直接偏好优化（DPO）方法相结合。Encoder-Decoder模型能够更好地生成答案，而DPO方法能够使模型更好地对齐人类偏好，从而提高问答的准确性和相关性。通过设计启发式方法生成偏好数据，无需人工标注，降低了成本。

技术框架：该方法主要包含以下几个阶段：1) 使用Encoder-Decoder模型（如T5）进行预训练；2) 设计启发式规则，自动生成偏好数据，包括更优答案和较差答案；3) 使用DPO方法，基于生成的偏好数据对模型进行微调，使模型倾向于生成更优答案；4) 在RadQA数据集上进行评估。

关键创新：该论文的关键创新在于：1) 将DPO方法应用于阅读理解任务，并取得了显著效果；2) 提出了新颖的启发式方法，自动生成偏好数据，无需人工标注，降低了数据获取成本；3) 证明了DPO方法不仅适用于decoder-only LLMs，也适用于encoder-decoder模型。

关键设计：论文中，启发式规则的设计是关键。具体来说，论文可能采用了以下策略来生成偏好数据：例如，对于一个问题，如果模型生成的答案包含正确答案的关键词，则认为该答案优于不包含关键词的答案。DPO方法的损失函数通常基于Bradley-Terry模型，用于优化模型参数，使其倾向于生成更受偏好的答案。具体的Encoder-Decoder模型可以选择T5等预训练模型，并根据任务需求进行微调。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在RadQA数据集上取得了显著的性能提升，F1值提高了12-15个点，超过了现有的最佳模型。这表明DPO方法在阅读理解任务中具有巨大的潜力，并且通过启发式方法生成偏好数据是可行的。

🎯 应用场景

该研究成果可应用于临床辅助诊断、医学知识库构建、智能问诊等领域。通过提升临床文本阅读理解能力，可以帮助医生快速准确地获取所需信息，提高诊疗效率和质量。未来，该方法有望推广到其他领域的文本问答任务中，具有广阔的应用前景。

📄 摘要（原文）

Extractive question answering over clinical text is a crucial need to help deal with the deluge of clinical text generated in hospitals. While encoder models (e.g., BERT) have been popular for this reading comprehension task, recently encoder-decoder models (e.g., T5) are on the rise. There is also the emergence of preference optimization techniques to align decoder-only LLMs with human preferences. In this paper, we combine encoder-decoder models with the direct preference optimization (DPO) method to improve over prior state of the art for the RadQA radiology question answering task by 12-15 F1 points. To the best of our knowledge, this effort is the first to show that DPO method also works for reading comprehension via novel heuristics to generate preference data without human inputs.