Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models

📄 arXiv: 2609.24881v1 📥 PDF

作者: Kevin David Hayes, Arka Pal, Haosong Zhang, Tom Goldstein, Micah Goldblum

分类: cs.AI

发布日期: 2026-09-21

💡 一句话要点

提出Pinocchio以解决黑箱语言模型的不确定性估计问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不确定性估计 黑箱模型 语言模型 外部校准 机器学习 高风险决策 模型泛化 API模型

📋 核心要点

  1. 现有的不确定性估计方法依赖于模型的内部输出，限制了在封闭API模型中的应用。
  2. Pinocchio通过外部校准的方式，利用七个LLM的响应进行联合训练，提供不依赖于模型内部状态的正确性估计。
  3. 实验结果显示，Pinocchio在多个模型上实现了高达0.862的AUROC，并在未见模型上也表现出良好的迁移能力。

📝 摘要（中文）

在大型语言模型（LLMs）的高风险决策应用中，实践者不仅需要准确的模型，还需要对其预测的不确定性进行估计。现有的不确定性估计方法通常需要访问模型输出的对数概率或进行微调，但许多工业级LLM产品使用封闭源API模型，且如GPT等模型不返回对数概率，且可能不允许微调。为此，本文提出了Pinocchio，一个外部校准器，用于估计黑箱API模型响应的正确性。经过对七个LLM的响应进行联合训练，Pinocchio在预测这些模型的保留响应的正确性时达到了0.862的AUROC，并在八个组织的十三个未见模型上实现了零-shot迁移。该模型仅需一次前向传播即可生成不确定性估计，无需访问目标模型的logits、权重或内部状态。我们发布的轻量级文本模型0.8B检查点在AUROC上与最大模型相匹配，并且只需在现有代码库中添加两行代码即可实现不确定性估计。

🔬 方法详解

问题定义：本文旨在解决在封闭源API模型中进行不确定性估计的难题。现有方法通常需要访问模型的对数概率或进行微调，这在许多工业应用中不可行。

核心思路：Pinocchio的核心思路是通过外部校准器来估计黑箱API模型的响应正确性。该方法不依赖于模型的内部状态，能够在不需要微调的情况下进行不确定性估计。

技术框架：Pinocchio的整体架构包括数据收集、模型训练和不确定性估计三个主要模块。首先，收集七个LLM的响应数据，然后进行联合训练，最后通过一次前向传播生成不确定性估计。

关键创新：Pinocchio的主要创新在于其能够在不访问目标模型的logits或内部状态的情况下，提供准确的不确定性估计。这一设计使其在封闭API环境中具有广泛的适用性。

关键设计：该模型的设计包括轻量级的0.8B检查点，能够在AUROC上与更大模型相匹配。此外，模型的训练过程采用了特定的损失函数，以优化其对正确性估计的准确性。通过简单的代码修改，用户可以轻松集成该模型。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

Pinocchio在实验中达到了0.862的AUROC，显示出其在预测黑箱模型响应正确性方面的高效性。此外，该模型在十三个未见模型上实现了零-shot迁移，证明了其广泛的适用性和强大的泛化能力。轻量级的设计使得集成过程简单，仅需两行代码即可实现不确定性估计。

🎯 应用场景

Pinocchio的潜在应用场景包括医疗、金融和自动驾驶等高风险领域，在这些领域中，决策的准确性和不确定性评估至关重要。通过提供快速的不确定性估计，Pinocchio能够帮助决策者更好地理解模型的预测可靠性，从而做出更为明智的决策。未来，该技术有望在更多的黑箱模型应用中得到推广和应用。

📄 摘要（原文）

In high-stakes decision-making applications of large language models (LLMs), practitioners require not only accurate LLMs but also uncertainty estimates for their predictions. Existing approaches to uncertainty estimation for LLMs require access to log-probabilities output by the model or require fine-tuning access. However, many industrial LLM products use closed-source API models, and many such API models like GPT do not return log-probabilities and may not allow fine-tuning. We introduce Pinocchio, an external calibrator that estimates the correctness of responses from black-box API models. Trained jointly on responses from seven LLMs, it achieves 0.862 AUROC predicting the correctness of held-out responses from those same models, and shows zero-shot transfer to thirteen unseen models across eight organizations. Our model needs only a single forward pass to generate an uncertainty estimate and requires no access to the target model's logits, weights, or internal states. A lightweight text only 0.8B checkpoint matches our largest model's AUROC. We release code for adding uncertainty estimation to existing repos in only two additional lines of code.