FActBench: A Benchmark for Fine-grained Automatic Evaluation of LLM-Generated Text in the Medical Domain

📄 arXiv: 2509.02198v1 📥 PDF

作者: Anum Afzal, Juraj Vladika, Florian Matthes

分类: cs.CL

发布日期: 2025-09-02

💡 一句话要点

构建医学领域LLM生成文本自动评估基准FActBench，提升事实性评估的可靠性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 事实性评估 医学领域 自然语言推理 思维链 基准测试 自动评估

📋 核心要点

  1. 大型语言模型在医学等专业领域面临事实性挑战，现有评估方法难以准确衡量其生成文本的可靠性。
  2. 论文构建了FActBench基准，结合思维链提示和自然语言推理，对医学领域LLM生成文本进行细粒度的事实性评估。
  3. 实验表明，通过CoT和NLI一致投票得到的事实核查分数与领域专家评估结果具有最高的关联性。

📝 摘要（中文）

大型语言模型在处理专业领域知识时表现欠佳，其中事实性是最关键的评估指标。为了缓解幻觉问题，可靠的事实核查工具和数据源至关重要。本文构建了一个全面的事实核查基准FActBench，涵盖医学领域的四个生成任务，并评估了六个最先进的大型语言模型。研究采用了两种先进的事实核查技术：思维链（CoT）提示和自然语言推理（NLI）。实验结果表明，通过这两种技术的一致投票获得的事实核查分数与领域专家评估的相关性最高。

🔬 方法详解

问题定义：大型语言模型在医学等专业领域应用时，容易产生“幻觉”，即生成不符合事实的内容。现有的评估方法往往不够精细，难以准确衡量模型生成文本的事实性，尤其是在需要专业知识的医学领域。因此，如何自动、准确地评估LLM在医学领域生成文本的事实性是一个亟待解决的问题。

核心思路：论文的核心思路是构建一个专门针对医学领域的事实核查基准FActBench，并结合两种先进的事实核查技术（CoT和NLI）进行评估。通过比较不同技术和人工评估结果的相关性，找到最可靠的自动评估方法。这种方法旨在更全面、更准确地评估LLM在医学领域生成文本的事实性。

技术框架：FActBench基准包含四个医学领域的文本生成任务，并选择了六个最先进的LLM进行评估。评估流程包括：1) 使用LLM生成文本；2) 使用CoT和NLI两种方法对生成文本进行事实核查；3) 对两种方法的结果进行一致性投票；4) 将投票结果与领域专家评估结果进行比较，评估自动评估方法的可靠性。

关键创新：论文的关键创新在于构建了一个专门针对医学领域的事实核查基准FActBench。此外，论文还探索了CoT和NLI两种事实核查技术在医学领域的应用，并发现通过一致性投票可以提高自动评估的可靠性。与现有方法相比，FActBench更专注于医学领域，并结合了多种事实核查技术，从而能够更准确地评估LLM生成文本的事实性。

关键设计：论文的关键设计包括：1) 选择了四个具有代表性的医学文本生成任务；2) 采用了CoT和NLI两种互补的事实核查技术；3) 使用一致性投票来提高评估的可靠性；4) 将自动评估结果与领域专家评估结果进行比较，验证自动评估方法的有效性。具体的参数设置和模型结构等技术细节在论文中没有详细描述，属于未知信息。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，通过CoT和NLI两种事实核查技术的一致投票获得的事实核查分数与领域专家评估的相关性最高。这表明，结合多种事实核查技术可以显著提高自动评估的可靠性，为医学领域LLM的应用提供了更可靠的评估方法。

🎯 应用场景

该研究成果可应用于医学领域的智能问答、电子病历生成、医学知识库构建等场景，帮助医生和患者获取更准确、可靠的医学信息。通过自动评估LLM生成文本的事实性，可以有效减少“幻觉”问题，提高医疗决策的安全性，并促进人工智能在医疗领域的更广泛应用。

📄 摘要（原文）

Large Language Models tend to struggle when dealing with specialized domains. While all aspects of evaluation hold importance, factuality is the most critical one. Similarly, reliable fact-checking tools and data sources are essential for hallucination mitigation. We address these issues by providing a comprehensive Fact-checking Benchmark FActBench covering four generation tasks and six state-of-the-art Large Language Models (LLMs) for the Medical domain. We use two state-of-the-art Fact-checking techniques: Chain-of-Thought (CoT) Prompting and Natural Language Inference (NLI). Our experiments show that the fact-checking scores acquired through the Unanimous Voting of both techniques correlate best with Domain Expert Evaluation.