Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models

📄 arXiv: 2604.13991v1 📥 PDF

作者: Aleksandr Rubashevskii, Dzianis Piatrashyn, Preslav Nakov, Maxim Panov

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-04-15

💡 一句话要点

提出自适应共形预测方法，提升大语言模型生成结果的事实性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 共形预测 事实性 自适应学习 不确定性估计

📋 核心要点

  1. 现有共形预测方法缺乏提示自适应性，无法有效捕捉不同输入带来的变异性，导致覆盖率不足或过度。
  2. 提出自适应共形预测方法，通过共形得分转换实现提示相关的校准，提升条件覆盖率并支持选择性预测。
  3. 在长文本生成和多项选择问答任务上，多个白盒模型上的实验表明，该方法显著优于现有基线。

📝 摘要（中文）

大型语言模型(LLMs)容易生成不符合事实的输出。最近的研究应用共形预测来为LLM生成结果的事实性提供不确定性估计和统计保证。然而，现有的方法通常不具备提示自适应性，限制了它们捕捉输入相关变异性的能力。因此，对于给定的任务或提示，它们可能会过滤掉过少的项目（导致过度覆盖）或过多的项目（导致覆盖不足）。我们提出了一种自适应共形预测方法，将共形得分转换方法扩展到LLM，并应用于长文本生成和多项选择问答。这实现了提示相关的校准，在保持边际覆盖保证的同时，提高了条件覆盖率。此外，该方法自然地支持选择性预测，允许在下游应用中过滤掉不可靠的声明或答案选项。我们在多个白盒模型上，跨多个领域评估了我们的方法，结果表明，在条件覆盖率方面，该方法明显优于现有的基线。

🔬 方法详解

问题定义：论文旨在解决大型语言模型生成内容的事实性问题。现有基于共形预测的方法虽然能提供不确定性估计，但缺乏对不同prompt的适应性，导致校准效果不佳，要么过滤不足（过度覆盖），要么过滤过多（覆盖不足）。

核心思路：核心思路是引入prompt自适应性，使得共形预测的不确定性估计能够根据不同的prompt进行调整。通过这种方式，模型可以更准确地识别哪些生成内容是不可靠的，从而提高生成结果的事实性。

技术框架：整体框架基于共形预测，但引入了自适应机制。具体流程包括：1) 使用LLM生成内容；2) 计算共形得分，该得分反映了生成内容的不确定性；3) 使用prompt信息调整共形得分，实现prompt自适应；4) 基于调整后的共形得分，选择性地过滤掉不可靠的生成内容。

关键创新：关键创新在于prompt自适应的共形得分转换方法。传统共形预测方法使用固定的阈值来判断生成内容是否可靠，而该方法则根据prompt的不同，动态调整阈值，从而更好地适应不同的输入。

关键设计：具体的自适应机制可能涉及使用prompt的embedding来调整共形得分的分布。例如，可以使用一个神经网络，以prompt embedding作为输入，输出一个缩放因子，用于调整共形得分。损失函数的设计需要保证在保持边际覆盖率的同时，最大化条件覆盖率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该自适应共形预测方法在条件覆盖率方面显著优于现有基线。具体而言，在多个白盒模型和不同领域的数据集上，该方法能够在保持边际覆盖率的前提下，显著提高条件覆盖率，这意味着该方法能够更准确地识别并过滤掉不可靠的生成内容，从而提高生成结果的事实性。

🎯 应用场景

该研究成果可广泛应用于需要高可信度生成内容的场景，例如自动新闻生成、医疗报告生成、法律文件生成等。通过过滤掉不可靠的生成内容，可以显著提高生成结果的质量和可信度，减少错误信息的传播。未来，该方法可以进一步扩展到其他类型的生成任务，并与其他技术（如知识图谱）相结合，以进一步提高生成结果的事实性。

📄 摘要（原文）

Large language models (LLMs) are prone to generating factually incorrect outputs. Recent work has applied conformal prediction to provide uncertainty estimates and statistical guarantees for the factuality of LLM generations. However, existing approaches are typically not prompt-adaptive, limiting their ability to capture input-dependent variability. As a result, they may filter out too few items (leading to over-coverage) or too many (under-coverage) for a given task or prompt. We propose an adaptive conformal prediction approach that extends conformal score transformation methods to LLMs, with applications to long-form generation and multiple-choice question answering. This enables prompt-dependent calibration, retaining marginal coverage guarantees while improving conditional coverage. In addition, the approach naturally supports selective prediction, allowing unreliable claims or answer choices to be filtered out in downstream applications. We evaluate our approach on multiple white-box models across diverse domains and show that it significantly outperforms existing baselines in terms of conditional coverage.