HausaNLP at SemEval-2025 Task 3: Towards a Fine-Grained Model-Aware Hallucination Detection

📄 arXiv: 2503.19650v1 📥 PDF

作者: Maryam Bala, Amina Imam Abubakar, Abdulhamid Abubakar, Abdulkadir Shehu Bichi, Hafsa Kabir Ahmad, Sani Abdullahi Sani, Idris Abdulmumin, Shamsuddeen Hassan Muhamad, Ibrahim Said Ahmad

分类: cs.CL, cs.AI

发布日期: 2025-03-25

💡 一句话要点

HausaNLP提出一种基于ModernBERT的微调方法，用于细粒度的模型感知幻觉检测。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 幻觉检测 大型语言模型 自然语言推理 ModernBERT 微调

📋 核心要点

  1. 大型语言模型容易产生幻觉，现有方法难以精确定位幻觉的边界，尤其是在依赖上下文的情况下。
  2. 该论文提出了一种基于自然语言推理和微调ModernBERT模型的方法，旨在实现对幻觉更细致、模型感知的理解。
  3. 实验结果表明，该模型在幻觉检测方面取得了一定的进展，但IoU得分较低，表明幻觉边界的精确识别仍具挑战。

📝 摘要（中文）

本文介绍了我们在多语言共享任务MU-SHROOM上的发现，该任务专注于识别大型语言模型(LLM)中的幻觉和相关的过度生成错误。该共享任务涉及检测由LLM生成的14种语言的输出中构成幻觉的特定文本跨度。为了解决这个任务，我们的目标是提供对英语中幻觉发生和严重程度的细致的、模型感知的理解。我们使用自然语言推理，并使用包含400个样本的合成数据集对ModernBERT模型进行微调，实现了0.032的交并比(IoU)得分和0.422的相关性得分。这些结果表明模型的置信度得分与幻觉的实际存在之间存在中等程度的正相关。IoU得分表明我们的模型在预测的幻觉跨度与真实注释之间的重叠相对较低。考虑到幻觉检测的复杂性，这样的性能并不令人意外。幻觉通常表现得很微妙，依赖于上下文，这使得精确定位它们的精确边界变得非常困难。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）中幻觉检测的问题，特别是精确定位幻觉文本跨度。现有方法在处理微妙的、依赖上下文的幻觉时存在困难，难以准确识别幻觉的边界。

核心思路：论文的核心思路是利用自然语言推理（NLI）来判断模型生成的文本是否与上下文一致，从而检测幻觉。通过微调ModernBERT模型，使其能够更好地理解和识别幻觉。这种方法试图建立一种模型感知的幻觉检测机制，即模型能够理解自身生成文本的可靠性。

技术框架：整体流程包括：1）构建一个包含400个样本的合成数据集，用于训练和微调ModernBERT模型。2）使用自然语言推理技术，将模型生成的文本与上下文进行比较。3）通过微调后的ModernBERT模型，预测文本中是否存在幻觉，并定位幻觉的文本跨度。

关键创新：该论文的关键创新在于尝试将自然语言推理与预训练语言模型相结合，用于细粒度的幻觉检测。通过微调ModernBERT模型，使其能够更好地理解和识别幻觉，从而提高幻觉检测的准确性。此外，该方法强调模型感知，即让模型能够评估自身生成内容的可靠性。

关键设计：论文使用包含400个样本的合成数据集进行微调，数据集的构建方式未知。损失函数和网络结构的具体细节也未知。评估指标采用交并比（IoU）和相关性得分，用于评估模型预测的幻觉跨度与真实标注之间的重叠程度和相关性。

📊 实验亮点

实验结果显示，该模型在幻觉检测方面取得了一定的进展，实现了0.032的交并比(IoU)得分和0.422的相关性得分。相关性得分表明模型的置信度得分与幻觉的实际存在之间存在中等程度的正相关。虽然IoU得分较低，但考虑到幻觉检测的复杂性，该结果仍然具有一定的参考价值。

🎯 应用场景

该研究成果可应用于提高大型语言模型的可靠性和安全性，例如在对话系统、文本生成和信息检索等领域。通过检测和纠正幻觉，可以提高生成文本的质量和可信度，减少错误信息的传播。未来的研究可以进一步探索更有效的幻觉检测方法，并将其应用于更广泛的语言和领域。

📄 摘要（原文）

This paper presents our findings of the Multilingual Shared Task on Hallucinations and Related Observable Overgeneration Mistakes, MU-SHROOM, which focuses on identifying hallucinations and related overgeneration errors in large language models (LLMs). The shared task involves detecting specific text spans that constitute hallucinations in the outputs generated by LLMs in 14 languages. To address this task, we aim to provide a nuanced, model-aware understanding of hallucination occurrences and severity in English. We used natural language inference and fine-tuned a ModernBERT model using a synthetic dataset of 400 samples, achieving an Intersection over Union (IoU) score of 0.032 and a correlation score of 0.422. These results indicate a moderately positive correlation between the model's confidence scores and the actual presence of hallucinations. The IoU score indicates that our model has a relatively low overlap between the predicted hallucination span and the truth annotation. The performance is unsurprising, given the intricate nature of hallucination detection. Hallucinations often manifest subtly, relying on context, making pinpointing their exact boundaries formidable.