Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale
作者: Grzegorz Brzezinka
分类: cs.CL, cs.LG
发布日期: 2026-07-08
备注: 23 pages, 6 figures and 7 tables
💡 一句话要点
提出激活分散度以区分实体熟悉度与事实可靠性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 实体识别 激活分散度 事实可靠性 无监督学习 监督学习 模型评估
📋 核心要点
- 现有大型语言模型在处理未见过的实体时容易产生错误信息，缺乏对实体熟悉度的有效评估。
- 论文提出通过激活分散度来评估实体熟悉度，并预测答案的事实可靠性，采用无监督和监督的方式进行验证。
- 实验结果显示，激活分散度在不同实体领域和模型规模上均能有效区分已知与虚构实体，且表现出良好的可靠性。
📝 摘要（中文）
大型语言模型在未见过的实体上常常产生幻觉。本文探讨模型激活是否能在生成答案之前揭示实体熟悉度，以及该信号是否能预测答案的事实可靠性。通过对四个波兰Bielik模型（参数规模1.5B-11B）进行实验，针对运动员、城市、作家和音乐家四个实体领域，使用无监督的激活分散度度量方法，成功区分已知与虚构实体，AUROC达0.95-1.00。研究表明，实体熟悉度与事实可靠性是不同的现象，且在不同模型规模下表现出不同的特征。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在未见过的实体上产生幻觉的问题，现有方法未能有效区分实体熟悉度与事实可靠性。
核心思路：通过分析模型的激活分散度，探讨其是否能在生成答案前揭示实体熟悉度，并预测答案的可靠性。
技术框架：研究使用四个波兰Bielik模型，针对四个实体领域进行实验，采用无监督的激活分散度度量（逆参与比率和谱熵）和监督的线性探测器进行评估。
关键创新：提出的激活分散度度量方法能够在不同实体领域和模型规模上有效区分已知与虚构实体，且在1.5B模型上已达到性能上限。
关键设计：使用后SwiGLU MLP激活进行分析，设置了多种参数以确保模型在不同层次的选择意识，且通过对比实验验证了信号的普适性。实验中还考虑了真实名称与模糊名称的区分。
🖼️ 关键图片
📊 实验亮点
实验结果显示，激活分散度在所有领域和模型规模上均能有效区分已知与虚构实体，AUROC达0.95-1.00，监督线性探测器的表现更是达到0.99-1.00。此外，模型在处理已知实体时的正确回答率随着模型规模的增加而显著提升，展示了模型的可扩展性。
🎯 应用场景
该研究的潜在应用领域包括信息检索、知识图谱构建和智能问答系统等。通过提高模型对实体的理解能力，可以增强其在实际应用中的可靠性和准确性，进而推动自然语言处理技术的发展。
📄 摘要（原文）
Large language models hallucinate most about entities they have never seen. We ask whether a model's activations betray entity familiarity before a single answer token is generated, and whether that signal predicts the factual reliability of the answers. On four Polish Bielik models (1.5B-11B parameters), we probe four entity domains (athletes, cities, writers, musicians), each with 42 well-known, 42 obscure-but-real, and 42 fabricated entities addressed by a one-sentence question (504 prompts per model). Two unsupervised, single-forward-pass dispersion measures over post-SwiGLU MLP activations, inverse participation ratio and spectral entropy, separate known from fabricated entities at AUROC 0.95-1.00 across all domains and scales; a supervised linear probe reaches 0.99-1.00. Both clear selection-aware permutation floors of about 0.70-0.74 (empirical p<=1e-3), survive held-out layer selection (0.93-0.99), and persist on real names (known vs. obscure-but-real: 0.96-1.00). The signal transfers across entity types (mean off-diagonal AUROC 0.92-0.99); a matched-template counterfactual shows the only large drops are template-caused, not entity-type effects, and the signal is diffuse across heads. This representational signal is already at ceiling at 1.5B, whereas behavioral factual reliability scales sharply: 0, 2, 10, and 19 of 42 known athletes are answered fully correctly by the 1.5B, 4.5B, 7B, and 11B models under a strict judge. Within known entities, separating correct from hallucinated answers is much harder (probe 0.93; dispersion no better than a first-token-entropy baseline). A five-sample semantic-entropy baseline reaches only 0.71-0.83 at 5x the inference cost. Despite this internal awareness, the models almost never abstain: an audit of 2,520 answers finds 2 refusals and 1 hedge. Entity familiarity and factual reliability are distinct phenomena on different scaling curves.