TRACE: Single-Pass Decoding-Trace Risk Localization for Generation Calibration
作者: Yuebin Xu, Xuemei Peng, Junlan Chen, Zhiyi Chen, Zeyi Wen
分类: cs.CL
发布日期: 2026-09-28
备注: EMNLP 2026 Findings
💡 一句话要点
提出TRACE以解决大语言模型生成校准中的风险定位问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 置信度估计 生成模型 风险定位 自然语言处理 校准方法 机器学习
📋 核心要点
- 现有的置信度估计方法往往将局部风险信号稀释，难以有效进行答案级别的校准。
- TRACE通过记录解码过程中的标记级惊讶度和预测熵，提出了一种新的风险定位方法。
- 实验结果显示，TRACE+在多个任务上显著提高了校准性能，Brier和AUROC均有明显改善。
📝 摘要（中文）
可靠的置信度估计对于大语言模型的部署至关重要。然而，答案级别的校准仍然面临挑战，因为生成错误通常是局部化的：一个响应可能整体流畅且高概率，但在关键数字、实体或事实声明上仍然失败。现有估计器将标记概率、序列似然、熵或束统计压缩为全局分数，这可能稀释局部风险信号。我们提出TRACE，一种单次解码、保留解码答案的置信度估计器，将解码时的不确定性视为通过三个步骤的轨迹：记录解码过程中的标记级惊讶度和预测熵，应用局部风险操作以保留不确定性峰值，并将局部化的轨迹风险转换为答案级置信度。TRACE生成无标签的风险分数，而TRACE+则利用保留的分割将仅轨迹特征校准为概率，无需额外生成或外部验证。我们在四个任务上评估了19个校准基线，TRACE+将Brier从0.149降低到0.137，并将AUROC从0.758提高到0.792，超越了最强的似然基线。在七个LLM中，TRACE+将最佳非TRACE基线池的Brier从0.136降低到0.120，AUROC从0.764提高到0.817。结果表明，定位解码时的风险提供了一种通用的校准方法。
🔬 方法详解
问题定义：本论文旨在解决大语言模型生成校准中的局部风险定位问题。现有方法通过全局评分来估计置信度，无法有效捕捉到生成过程中的局部错误。
核心思路：TRACE的核心思想是将解码过程中的不确定性视为一个轨迹，通过记录和分析标记级的惊讶度和预测熵来保留局部风险信号，从而实现更精确的答案级别置信度估计。
技术框架：TRACE的整体架构包括三个主要步骤：首先，在解码过程中记录每个标记的惊讶度和预测熵；其次，应用局部风险操作以保留不确定性峰值；最后，将这些局部化的风险信息转换为答案级的置信度分数。
关键创新：TRACE的主要创新在于其单次解码的设计，能够在不需要额外生成或外部验证的情况下，直接从解码过程中提取风险信息，生成无标签的风险分数。
关键设计：TRACE+通过对仅轨迹特征进行校准，利用保留的分割将其转换为概率，优化了模型的置信度估计，显著提升了校准效果。具体的参数设置和损失函数设计在实验中进行了详细验证。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TRACE+在19个校准基线中表现优异，将Brier分数从0.149降低至0.137，AUROC从0.758提升至0.792。此外，在七个大语言模型上，TRACE+的Brier分数从0.136降低至0.120，AUROC从0.764提高至0.817，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的对话系统、问答系统和信息检索等场景。通过提高生成模型的置信度估计能力，TRACE有助于提升模型在实际应用中的可靠性和用户体验，未来可能对智能助手和自动化内容生成等领域产生深远影响。
📄 摘要（原文）
Reliable confidence estimation is essential for large language model deployment. However, answer-level calibration remains challenging because generation errors are often localized: a response may be fluent and high-probability overall while still failing at a critical number, entity, or factual claim. Existing estimators compress token probabilities, sequence likelihoods, entropy, or beam statistics into a global score, which can dilute such local risk signals. We propose TRACE, a single-pass, decoded-answer-preserving confidence estimator that treats decoding-time uncertainty as a trajectory through three steps: (i) recording token-level surprisal and predictive entropy during decoding, (ii) applying local risk operators to preserve uncertainty spikes, and (iii) converting localized trace risk into answer-level confidence. TRACE produces a label-free risk score, while TRACE+ calibrates trace-only features into probabilities using a held-out split, without extra generations or external verifiers. We evaluate four tasks against 19 calibration baselines, and TRACE+ reduces Brier from 0.149 to 0.137 and improves AUROC from 0.758 to 0.792 over the strongest likelihood baseline. Across seven LLMs, TRACE+ improves over the best non-TRACE baseline pool from 0.136 to 0.120 Brier and from 0.764 to 0.817 AUROC. Results show that localizing decoding-time risk provides a general approach to calibration.