ActMap: Single-Pass Uncertainty Quantification from Generation-Time Activation Maps
作者: Jacopo Dardini, Roberta Calegari
分类: cs.AI
发布日期: 2026-09-10
备注: 13 pages, 4 figures, 10 tables. Includes technical appendix
💡 一句话要点
提出ActMap以解决大语言模型的不确定性量化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 不确定性量化 大语言模型 生成模型 轻量级分类器 结构化表示 实时监控 模型审计
📋 核心要点
- 现有的不确定性量化方法在单次生成中判断答案可信度的能力不足，通常需要多次生成或简化模型计算。
- ActMap通过压缩生成时的隐藏状态轨迹为固定形状的张量，提供了一种高效的、不增加计算开销的解决方案。
- 在多个任务上，ActMap的表现超越了传统的采样和概率基线，且在校准误差上优于更大规模的检测器。
📝 摘要（中文）
在大语言模型的实际应用中，如何在单次生成中判断特定答案的可信度是一个重要问题。现有方法通常需要多次生成、仅依赖输出标记概率或将模型内部计算简化为单一隐藏状态。本文提出了ActMap，这是一种白盒表示法，将生成时的隐藏状态轨迹压缩为固定形状的张量，能够在不增加计算开销的情况下保留结构信息。通过轻量级分类器，ActMap在短答案问答、直接数学回答和摘要真实性等任务中表现优异，超越了多种基线方法，并在可扩展性和审计相关生成的实用性上具有重要价值。
🔬 方法详解
问题定义：本文旨在解决大语言模型在单次生成中如何有效量化不确定性的问题。现有方法往往依赖多次生成或简化模型计算，导致效率低下和信息损失。
核心思路：ActMap的核心思路是通过压缩生成时的隐藏状态轨迹为一个固定形状的张量，保留模型深度和隐藏坐标的结构信息，从而实现高效的不确定性量化。
技术框架：ActMap的整体架构包括生成时的隐藏状态捕获、张量压缩和轻量级分类器。生成过程中，模型的每一层和每个生成的标记都会被记录并压缩为一个$12 imes 32 imes 128$的张量。
关键创新：最重要的技术创新在于ActMap能够在不增加计算开销的情况下，提供一种结构化的、不确定性量化的表示方法。这与现有方法的本质区别在于其单次生成的高效性和信息保留能力。
关键设计：ActMap的设计包括固定的张量形状和轻量级分类器（如紧凑的视觉变换器），后者能够在毫秒级内读取每个张量的正确性概率。实验表明，容量匹配的多层感知机在性能上与其相当，表明表示本身承载了结果。
🖼️ 关键图片
📊 实验亮点
在短答案问答、直接数学回答和摘要真实性任务中，ActMap的表现超越了传统的采样、标记概率和注意力基线，且在十对十二对比中，其校准误差低于训练在更大张量上的ACT-ViT，显示出其在不确定性量化中的优越性。
🎯 应用场景
ActMap的潜在应用场景包括大语言模型的实时监控和审计，尤其是在需要快速判断生成内容可信度的领域，如自动问答系统、内容生成和信息摘要等。其高效性和准确性使其成为可扩展的模型监督工具，能够在实际部署中提供重要支持。
📄 摘要（原文）
Practical uncertainty quantification (UQ) for large language models must decide, from a single generation, whether a specific answer should be trusted. Existing methods either sample multiple generations, read only output-token probabilities, or reduce the model's internal computation to a single hidden state. We introduce ActMap, a white-box representation that compresses the generation-time hidden- state trajectory (every layer, every generated token) into a fixed $12 \times 32 \times 128$ tensor of temporal-statistic channels that preserves structure across transformer depth and pooled hidden coordinates. The map is captured during the generation pass with no measurable overhead, has a fixed shape across model depths and hidden sizes, and occupies 96 KiB: a compact artifact that can be retained for audit-relevant generations and probed directly, with occlusion analysis localizing the classifier's signal to mid-depth regions of the map. A lightweight classifier, instantiated as a compact Vision Transformer, reads an estimated correctness probability from each map in a fraction of a millisecond; capacity-matched MLPs perform comparably, indicating the representation itself carries the result. Trained and evaluated in-domain on short-answer QA, direct- answer math, and summarization factuality with three instruction-tuned 7-8B models, ActMap consistently outperforms sampling, token-probability, attention, and embedding baselines, and matches ACT-ViT, a detector trained on dense activation tensors $67 \times$ larger, at essentially the same mean AUROC with lower calibration error on ten of twelve pairs. The resulting score supports abstention, routing, and selective verification from a single generation, making it a practical primitive for scalable oversight of deployed models.