Reasoning-Aware Multicalibrated Reliability Predictors for Language Models
作者: Ekaterina Fedorova, Alessandro Morosini, Chara Podimata
分类: cs.CY, cs.AI
发布日期: 2026-10-19
💡 一句话要点
提出推理感知的多校准可靠性预测器以提升语言模型的可靠性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 多校准 推理链 可靠性预测 幻觉检测 不安全响应 机器学习
📋 核心要点
- 现有的多校准方法在处理不同主题和推理链特征时，可能会掩盖系统性错误，导致可靠性预测不准确。
- 本文提出推理感知的多校准框架，通过结合推理链特征的组别，增强了对模型响应可靠性的预测能力。
- 实验结果表明，使用CoT组进行多校准，能够在幻觉预测和不安全响应检测任务中显著降低Brier分数，提升模型的可靠性。
📝 摘要（中文）
随着人们日益依赖大型语言模型（LLMs）获取信息，模型提供者需要有效传达个别响应的正确性或可靠性估计。在幻觉问题的背景下，现有研究利用多校准方法使得可靠性预测在应用相关的主题组中具有意义。然而，仅依赖主题组可能掩盖系统性错误。本文提出了一种推理感知的多校准框架，结合了基于可观察的推理链（CoT）特征的组别，显著提高了最终可靠性预测器的准确性。通过在多个基准上进行实验，我们发现将CoT组添加到基于主题的校准中，能够有效降低Brier分数。
🔬 方法详解
问题定义：本文旨在解决现有多校准方法在处理不同主题和推理链特征时可能导致的系统性错误，影响语言模型的可靠性预测。
核心思路：提出推理感知的多校准框架，通过引入基于推理链特征的组别，补充传统的主题组，以提高预测准确性。
技术框架：该框架包括两个主要模块：一是基于主题的多校准，二是基于推理链特征的组别校准。通过这两个模块的结合，增强了模型对不同类型响应的可靠性评估。
关键创新：最重要的创新在于引入推理链特征作为校准组别，理论上证明了其在提高预测准确性方面的有效性，与传统方法相比，能够更好地捕捉模型的系统性错误。
关键设计：在实验中，采用Brier分数作为评估指标，设计了多种损失函数以优化校准效果，确保模型在不同主题和推理链特征下的可靠性预测能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，加入推理链特征组的多校准方法在幻觉预测和不安全响应检测任务中，Brier分数显著降低，表明模型的可靠性预测能力得到了有效提升。与基线相比，使用CoT组进行多校准的效果优于仅依赖主题组的传统方法。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能问答系统和自动内容生成等。通过提升语言模型的可靠性，能够更好地服务于用户，减少错误信息的传播，具有重要的实际价值和社会影响。未来，该方法还可以扩展到其他类型的机器学习模型中，提升其可靠性评估能力。
📄 摘要（原文）
As people increasingly rely on large language models (LLMs) for information, model providers need to communicate meaningful estimates of whether individual responses are correct or, more generally, reliable. In the context of hallucinations, existing work uses multicalibration to make such reliability predictions meaningful across application-relevant groups, such as prompt topics. Topic groups alone, however, can conceal systematic errors: within the same topic and confidence level, responses with different chain-of-thought (CoT) properties may exhibit opposing errors that cancel on average. In this work, we introduce reasoning-aware multicalibration, a framework that supplements application-relevant topic groups with groups derived from observable properties of CoT traces. We highlight that, theoretically, groupings based on CoT are "internally important", i.e., groupings for which the multicalibration guarantee is not societally crucial as it is for high-risk topics, but whose inclusion in the multicalibration procedure could easily and significantly improve predictive accuracy of the final reliability predictor. Empirically, we apply our framework to hallucination prediction and unsafe-response detection across a variety of benchmarks, and find that adding CoT groups to topic-based calibration reduces Brier score in both tasks. Interestingly, we find that multicalibrating with respect to CoT groups alone (without any topic information) already improves calibration across topics, suggesting that the predictor's errors depend on how the model reasoned, rather than what it was asked about in the prompt.