Rethinking Faithfulness in LLMs: A Pairwise Context-Sensitive Perspective
作者: Zizhuo Zhang, Xiong Peng, Jingwei Sun, Rong Yao, Borui Jiang, Bo Han
分类: cs.CL, cs.LG
发布日期: 2026-10-06
备注: 22 pages
🔗 代码/项目: GITHUB
💡 一句话要点
提出PFaithBench以解决大语言模型的信度评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 信度评估 对比学习 数据构建 自然语言处理 模型训练 回答与不回答
📋 核心要点
- 现有信度评估方法通常孤立评估每个问题-上下文实例，未能反映模型在不同上下文下的适应能力。
- 本文提出PFaithBench，通过对比支持与不支持上下文，评估模型在回答与不回答之间的切换能力。
- 实验结果显示，大多数模型存在过度回答的问题，且训练结果对数据构成高度敏感，影响信度表现。
📝 摘要（中文）
大语言模型（LLMs）应根据提供的上下文忠实回答问题，并在上下文信息不足时选择不回答。现有的信度评估通常孤立地评估每个问题-上下文实例，未能捕捉到忠实行为的基本要求：模型应能根据可用上下文的变化调整响应。本文提出了一种对比信度基准（PFaithBench），评估模型在支持与不支持上下文下是否能在回答与不回答之间切换。实验表明，信度涉及回答与不回答之间的权衡，大多数现有模型倾向于过度回答，导致信度错误。我们还研究了不同数据构建下的信度训练，结果显示训练结果对回答与不回答数据的具体构成高度敏感。
🔬 方法详解
问题定义：本文旨在解决大语言模型在信度评估中的不足，现有方法未能有效评估模型在不同上下文下的适应能力，导致信度评估结果不准确。
核心思路：提出PFaithBench基准，通过对比支持与不支持上下文，评估模型在回答与不回答之间的切换能力，从而更全面地评估模型的信度。
技术框架：整体框架包括数据构建、模型评估和结果分析三个主要模块。首先构建包含支持和不支持上下文的数据集，然后对模型进行评估，最后分析模型在不同上下文下的表现。
关键创新：最重要的创新点在于引入了对比信度评估方法，强调了回答与不回答之间的权衡，揭示了大多数模型的过度回答倾向。
关键设计：在数据构建中，确保回答与不回答数据的平衡，使用特定的损失函数来优化模型在不同上下文下的表现，避免模型依赖数据集特定的捷径。通过调整数据构成，探索不同训练策略对信度的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，39个模型在PFaithBench上的评估揭示了大多数模型存在强烈的过度回答偏向，信度错误主要源于此。通过对比不同数据构成的训练，发现增加回答数据虽然提升了回答性能，但加剧了过度回答现象，而增加不回答数据则减少了幻觉现象，但导致过度不回答。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的问答系统、对话系统以及信息检索等。通过提高大语言模型的信度，能够增强用户对模型输出的信任度，进而提升实际应用的效果和用户体验。未来，该方法可能推动更为智能和可靠的AI系统的开发。
📄 摘要（原文）
Large language models (LLMs) are expected to answer questions faithfully based on the provided context, abstaining when the context information is insufficient to answer the questions. Existing faithfulness evaluations typically assess each question-context instance in isolation; however, such instance-level evaluation fails to capture a fundamental requirement of faithful behavior: the ability to adapt model responses to changes in available contexts. In particular, a model should provide correct answers when sufficient evidence is present and abstain when it is not. In this work, we propose a Pairwise Faithfulness Benchmark (PFaithBench) that evaluates whether a model can switch between answering and abstaining for the same question under supporting versus non-supporting contexts. Our evaluations across thirty-nine models with seven model families demonstrate that faithfulness fundamentally involves a trade-off between answering and abstaining, and that most current models exhibit a strong bias toward answering, with most faithfulness errors arising from over-answering, i.e., models tend to fabricate a response even when the provided context is insufficient. We further conduct a series of studies on faithfulness training under different data constructions. Our results show that training outcomes are highly sensitive to the specific composition of answering and abstaining data. Constructing answering and abstaining data from mismatched sources can cause models to rely on dataset-specific shortcuts rather than actual context sufficiency. Moreover, increasing answer-supervised data improves answering performance but exacerbates over-answering, while increasing abstaining data reduces hallucination but leads to over-abstention. The code and data are released at https://github.com/tmlr-group/PFaithBench.