Domain-Specific Hallucination Detection in Large Language Models

📄 arXiv: 2609.11878v1 📥 PDF

作者: Varun Teja Chundru, Debasmita Biswas

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-09-10

备注: 6 pages, 3 figures, 5 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出多信号检测管道以解决大语言模型的幻觉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 幻觉检测 大语言模型 多信号处理 不确定性量化 模型微调

📋 核心要点

  1. 现有的大语言模型在生成文本时容易出现幻觉现象，导致不真实的陈述，影响其可信度。
  2. 论文提出了一种多信号检测管道，结合了分类模型和不确定性量化，旨在提高幻觉检测的准确性。
  3. 实验结果显示，该方法在多个任务上表现优异，特别是在问答和摘要任务中，F1得分分别达到0.97和0.96。

📝 摘要（中文）

大语言模型生成的流畅文本可能包含不真实的陈述，称为幻觉。本文提出了一种多信号检测管道，结合了微调的DeBERTa-v3分类、蒙特卡洛（MC）Dropout不确定性量化和温度缩放校准，用于响应级别的幻觉检测。在HaluEval基准上评估后，该管道在一般领域任务上实现了F1=0.915和AUROC=0.977的优异表现。通过MC Dropout推理，准确率进一步提高至93.2%。

🔬 方法详解

问题定义：本文旨在解决大语言模型生成文本中的幻觉现象，现有方法在检测幻觉时存在准确性不足的问题。

核心思路：提出的多信号检测管道结合了微调的DeBERTa-v3模型和MC Dropout不确定性量化，旨在通过多种信号提高幻觉检测的准确性和可靠性。

技术框架：整体架构包括三个主要模块：1) 微调的DeBERTa-v3分类器用于初步检测；2) MC Dropout用于量化模型的不确定性；3) 温度缩放校准用于优化检测结果。

关键创新：最重要的创新在于结合了多种信号源进行幻觉检测，而不是单一依赖于模型输出，这使得检测更加稳健。

关键设计：在模型训练中，采用了特定的损失函数和参数设置，确保模型能够有效学习到幻觉的特征，同时通过学习曲线分析发现，25%的训练数据能够捕获77%的全数据性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，提出的检测管道在HaluEval基准上实现了F1=0.915和AUROC=0.977的优异表现，特别是在问答和摘要任务中，F1得分分别达到0.97和0.96。通过MC Dropout推理，准确率进一步提高至93.2%。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、自动摘要生成和对话系统等。通过提高幻觉检测的准确性，可以显著提升这些系统的可靠性和用户体验，未来可能在多个行业中得到广泛应用。

📄 摘要（原文）

Large language models generate fluent text that can contain unfaithful claims -- a phenomenon known as hallucination. We present a multi-signal detection pipeline combining fine-tuned DeBERTa-v3 classification, Monte Carlo (MC) Dropout uncertainty quantification, and temperature-scaled calibration for response-level hallucination detection. Evaluated on the HaluEval benchmark, our pipeline achieves F1=0.915 and AUROC=0.977 on general-domain tasks, with per-task F1 scores of 0.97 (QA), 0.96 (Summarization), and 0.82 (Dialogue). MC Dropout inference further improves accuracy to 93.2%. A context ablation study confirms the model performs genuine entailment reasoning rather than exploiting surface patterns, with summarization F1 dropping 24% when knowledge context is removed. Learning curve analysis reveals that 25% of training data captures 77% of full-data performance. Beyond detection, we apply Direct Preference Optimization (DPO) to a Qwen2.5-0.5B generator, reducing its hallucination rate from 85.5% to 37.7% (55.9% relative reduction) as measured by our detector. Cross-domain evaluation on the SciFact biomedical benchmark shows that general-domain training transfers poorly (F1=0.52), motivating domain-specific fine-tuning. PubMedBERT fine-tuned on SciFact achieves F1=0.63 and AUROC=0.81, demonstrating that domain-matched pre-training is the strongest adaptation strategy. Code and models are available at https://github.com/varunteja99/hallucination-detection-nlp