Domain-Shift-Aware Conformal Prediction for Large Language Models

📄 arXiv: 2510.05566v1 📥 PDF

作者: Zhexiao Lin, Yuanyuan Li, Neeraj Sarna, Yuanyuan Gao, Michael von Gablenz

分类: stat.ML, cs.AI, cs.CL, cs.LG, stat.AP

发布日期: 2025-10-07

备注: 26 pages

💡 一句话要点

提出领域偏移感知共形预测(DS-CP)，提升大语言模型在领域偏移下的不确定性量化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 共形预测 领域偏移 不确定性量化 可信AI

📋 核心要点

  1. 大语言模型易产生幻觉，标准共形预测在领域偏移下失效，导致预测结果不可靠。
  2. DS-CP通过对校准样本进行重加权，使其适应测试样本的领域，从而提升预测的准确性。
  3. 在MMLU基准测试中，DS-CP在领域偏移下比标准共形预测提供更可靠的覆盖率，且保持高效。

📝 摘要（中文）

大型语言模型在各种任务中表现出色，但其过度自信和产生不正确输出（即幻觉）的倾向，给实际应用带来风险。共形预测提供有限样本、无分布的覆盖保证，但标准共形预测在领域偏移下失效，导致覆盖不足和不可靠的预测集。我们提出一种名为领域偏移感知共形预测（DS-CP）的新框架。该框架通过系统地重新加权校准样本（基于它们与测试提示的接近程度），使共形预测适应领域偏移下的大型语言模型，从而在保持有效性的同时增强适应性。理论分析和在MMLU基准上的实验表明，所提出的方法比标准共形预测提供更可靠的覆盖，尤其是在显著的分布偏移下，同时保持效率。这为实际部署中大型语言模型的可信不确定性量化提供了一个实践步骤。

🔬 方法详解

问题定义：大语言模型在实际应用中容易产生幻觉，即生成不准确或不真实的答案。现有的共形预测方法虽然能提供一定的置信度保证，但在面对领域偏移时，其预测的覆盖率会显著下降，导致预测结果变得不可靠。因此，如何提升大语言模型在领域偏移下的不确定性量化能力是一个关键问题。

核心思路：DS-CP的核心思路是利用领域相似性来调整共形预测过程。具体来说，它通过对校准集中的样本进行重加权，使得与测试样本领域更接近的校准样本具有更高的权重。这样，在计算预测集的置信度时，就能更多地考虑与测试样本相关的知识，从而提高预测的准确性和可靠性。

技术框架：DS-CP框架主要包含以下几个步骤：1. 领域相似性度量：计算测试样本与校准集中每个样本之间的领域相似性。可以使用各种距离度量方法，例如基于嵌入向量的余弦相似度。2. 样本重加权：根据领域相似性，对校准集中的样本进行重加权。相似度越高的样本，权重越大。3. 共形预测：使用重加权后的校准集进行共形预测，生成预测集和相应的置信度。4. 覆盖率评估：评估预测集的覆盖率，确保其满足预设的置信水平。

关键创新：DS-CP的关键创新在于引入了领域相似性来指导共形预测过程。与传统的共形预测方法相比，DS-CP能够更好地适应领域偏移，从而提高预测的准确性和可靠性。它通过动态调整校准样本的权重，使得预测结果更加贴近测试样本的实际情况。

关键设计：领域相似性的度量是DS-CP的关键设计之一。论文中可能采用了基于预训练语言模型的嵌入向量来计算样本之间的相似度。此外，如何选择合适的重加权函数，以及如何设置置信水平等参数，也会影响DS-CP的性能。具体的损失函数和网络结构取决于所使用的大语言模型和领域相似性度量方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DS-CP在MMLU基准测试中，尤其是在存在显著领域偏移的情况下，比标准共形预测方法提供了更可靠的覆盖率。这意味着DS-CP能够更准确地量化大语言模型预测的不确定性，从而提高预测结果的可信度。具体的性能提升幅度未知，但摘要强调了其在领域偏移下的优越性。

🎯 应用场景

DS-CP可应用于各种需要可信不确定性量化的大语言模型应用场景，例如医疗诊断、金融风险评估、法律咨询等。通过提供更可靠的置信度估计，DS-CP可以帮助用户更好地理解和信任大语言模型的预测结果，从而做出更明智的决策。该研究有助于推动大语言模型在实际场景中的安全可靠部署。

📄 摘要（原文）

Large language models have achieved impressive performance across diverse tasks. However, their tendency to produce overconfident and factually incorrect outputs, known as hallucinations, poses risks in real world applications. Conformal prediction provides finite-sample, distribution-free coverage guarantees, but standard conformal prediction breaks down under domain shift, often leading to under-coverage and unreliable prediction sets. We propose a new framework called Domain-Shift-Aware Conformal Prediction (DS-CP). Our framework adapts conformal prediction to large language models under domain shift, by systematically reweighting calibration samples based on their proximity to the test prompt, thereby preserving validity while enhancing adaptivity. Our theoretical analysis and experiments on the MMLU benchmark demonstrate that the proposed method delivers more reliable coverage than standard conformal prediction, especially under substantial distribution shifts, while maintaining efficiency. This provides a practical step toward trustworthy uncertainty quantification for large language models in real-world deployment.