Ontology Concept Overlap as a Training Signal: Knowledge-Grounded Reinforcement Learning for Clinical Question Answering

📄 arXiv: 2610.06360v1 📥 PDF

作者: Aditya Tanna, Abhishek Jindal

分类: cs.CL, cs.LG

发布日期: 2026-10-05

备注: Accepted at CIKM 2026

DOI: 10.1145/3799682.3840057

💡 一句话要点

提出基于本体概念重叠的训练信号以解决临床问答问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 临床问答 强化学习 本体概念 奖励机制 语言模型 医疗AI 知识驱动

📋 核心要点

  1. 现有的强化学习方法在临床问答中面临挑战，无法有效评估近似正确答案的临床有效性。
  2. 本文提出了一种基于UMLS概念重叠的软验证器，结合熵归一化的LLM评估者，形成复合奖励机制。
  3. 实验结果显示，该方法在多个模型上提升了2.9%至39%的性能，尤其在Token-F1指标上表现突出。

📝 摘要（中文）

强化学习后训练语言模型依赖于两种奖励设计：人类偏好和二元验证器。然而，临床问答并不适用这两种方法。本文提出了一种软验证器，利用UMLS概念唯一标识符的重叠，提供了一个外部指定的奖励机制。通过将其与熵归一化的LLM评估者结合，论文在多个基准测试中显著提高了模型性能，尤其是在Token-F1指标上。实验结果表明，该方法在不同模型上均有显著提升，且在PubMedQA数据集上也表现出良好的迁移能力。

🔬 方法详解

问题定义：本文旨在解决临床问答中现有强化学习方法无法有效评估答案临床正确性的问题。现有方法如人类偏好和二元验证器在临床场景中表现不佳，无法处理近似正确答案的细微差异。

核心思路：论文提出了一种基于UMLS概念唯一标识符重叠的软验证器，提供了一个外部指定的奖励机制，避免了模型在评估过程中的干扰。通过结合熵归一化的LLM评估者，该方法能够更全面地评估答案的安全性和证据支持。

技术框架：整体架构包括三个主要模块：软验证器、熵归一化的LLM评估者和一致性惩罚机制。软验证器提供基于概念重叠的奖励，LLM评估者则负责评估答案的安全性和证据支持，而一致性惩罚机制则用于控制训练样本的可评分性。

关键创新：最重要的技术创新在于引入了基于本体概念重叠的奖励机制，这一机制能够捕捉到模型在临床问答中可能出现的细微实体替换，从而提升了答案的临床有效性评估。

关键设计：在设计中，论文设置了熵归一化的损失函数，并引入了小的一致性惩罚以控制填充和重复，确保早期训练样本的可评分性。实验中，使用了Phi-3-mini和Llama-3.2-3B模型进行验证，结果显示在Token-F1和EM指标上均有显著提升。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，使用该方法在Phi-3-mini模型上，EM指标提升了2.9%（0.700 vs 0.680），Token-F1提升了39%（0.202 vs 0.145）。在Llama-3.2-3B模型上，EM和Token-F1分别提升了14%和35%。该方法在PubMedQA数据集上也表现出良好的迁移能力，Token-F1提升了22%。

🎯 应用场景

该研究的潜在应用领域包括临床决策支持系统和医疗问答系统。通过提高临床问答的准确性，该方法能够帮助医生更快地获取相关信息，从而改善患者的治疗效果。此外，未来可以将该方法扩展到其他领域的问答系统中，提升其智能化水平。

📄 摘要（原文）

Reinforcement learning post-training for language models relies on two reward designs: human preferences (RLHF, DPO) and binary verifiers (RLVR). Clinical question answering fits neither. Near-correct answers differ by a single substituted entity, and no executable check decides clinical correctness. We instantiate a soft verifier from a maintained controlled vocabulary: UMLS Concept Unique Identifier overlap (via scispaCy, set-level F1) gives a graded, externally specified reward computed without a model in the loop. We combine it inside GRPO with an entropy-normalised LLM judge, which covers the safety and evidence axes overlap cannot see, and a small consistency penalty on padding and repetition that keeps early-training samples scorable. This three-term composite improves over SFT on Phi-3-mini (3.8B) over MedQA by 2.9% on EM (0.700 vs 0.680) and 39% on Token-F1 (0.202 vs 0.145); on Llama-3.2-3B the corresponding gains are 14% on EM and 35% on Token-F1. We report Token-F1 as the primary metric because it credits partially-correct clinical content that EM discards at this open-generation scale. Main-table results are means over 3 seeds with standard deviations below 0.005. The method transfers to PubMedQA, where training on the PubMedQA train set with the same composite reward improves Token-F1 over SFT by 22% on Phi-3-mini and 17% on Llama-3.2-3B without retuning. A reward ablation on Phi-3, varying the judge-ontology split at a fixed consistency weight, attributes 3 EM points to the ontology term, the contribution that catches entity substitutions the judge cannot. Three negative findings constrain the design: DPO under random negatives underperforms SFT for strong-prior models but helps the weakest-prior one; PPO under a sparse neural reward diverges; GRPO with KL-in-loss collapses at 7B.