Quantifying Self-Awareness of Knowledge in Large Language Models

📄 arXiv: 2509.15339v1 📥 PDF

作者: Yeongbin Seo, Dongha Lee, Jinyoung Yeo

分类: cs.CL

发布日期: 2025-09-18

💡 一句话要点

提出AQE方法以量化大语言模型知识自感知中的问题侧影响，并提出SCAO方法增强模型侧信号。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 自感知 幻觉预测 问题侧效应 语义压缩

📋 核心要点

  1. 现有大语言模型幻觉预测研究可能高估了模型的自感知能力，忽略了问题侧捷径的影响。
  2. 论文提出近似问题侧效应（AQE）来量化问题侧信息对幻觉预测的影响，从而更准确评估模型自感知能力。
  3. 引入语义压缩方法SCAO，通过单字回答压缩语义，增强模型侧信号，实验表明SCAO能有效提升模型自感知能力。

📝 摘要（中文）

大语言模型（LLMs）中的幻觉预测通常被解释为自感知能力的体现。然而，我们认为这种性能可能源于问题侧的捷径，而非真正的模型侧内省。为了 disentangle 这些因素，我们提出了近似问题侧效应（AQE），用于量化问题感知的贡献。我们对多个数据集的分析表明，许多已报道的成功源于利用问题中的表面模式。此外，我们引入了 SCAO（通过单字回答进行语义压缩），这是一种增强模型侧信号利用的方法。实验表明，SCAO 实现了强大且一致的性能，尤其是在问题侧线索减少的设置中，突显了其在培养 LLM 中真正自感知能力方面的有效性。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLMs）知识自感知能力评估中存在的偏差问题。现有方法在评估LLMs的幻觉预测能力时，往往难以区分模型真正的知识内省能力和仅仅利用问题侧的表面模式进行预测的能力。这种混淆导致对LLMs自感知能力的过高估计。因此，如何准确量化问题侧信息的影响，并设计方法增强模型侧的知识信号，是本文要解决的关键问题。

核心思路：论文的核心思路是 disentangle 问题侧和模型侧的信息，从而更准确地评估LLMs的自感知能力。具体来说，首先提出近似问题侧效应（AQE）来量化问题侧信息对幻觉预测的贡献。然后，通过语义压缩方法SCAO，减少问题侧的干扰，并增强模型侧的知识信号，从而提高模型真正的自感知能力。

技术框架：论文的技术框架主要包含两个部分：一是近似问题侧效应（AQE）的计算方法，用于量化问题侧信息的影响；二是语义压缩方法SCAO，用于增强模型侧的知识信号。AQE通过分析模型在不同问题变体上的表现差异，来估计问题侧信息对预测结果的影响。SCAO则通过将问题压缩为单字回答，减少问题侧的表面模式，从而迫使模型更多地依赖自身的知识进行预测。

关键创新：论文的关键创新在于提出了AQE和SCAO两种方法。AQE提供了一种量化问题侧信息影响的手段，使得研究者可以更准确地评估LLMs的自感知能力。SCAO则通过语义压缩，有效地减少了问题侧的干扰，并增强了模型侧的知识信号，从而提高了模型真正的自感知能力。与现有方法相比，本文的方法更加注重区分问题侧和模型侧的信息，从而更准确地评估LLMs的自感知能力。

关键设计：AQE的具体计算方法未知，需要参考论文细节。SCAO的关键设计在于如何有效地将问题压缩为单字回答，并保证压缩后的信息仍然能够保留问题的核心语义。具体的压缩算法和损失函数未知，需要参考论文细节。此外，SCAO在训练过程中可能需要调整模型的参数，以适应单字回答的输入形式。这些具体的参数设置和网络结构需要参考论文的详细描述。

📊 实验亮点

实验结果表明，AQE分析揭示了现有方法在评估LLMs自感知能力时存在高估现象。SCAO方法在减少问题侧线索的情况下，显著提升了模型的自感知能力，尤其是在需要更深层次知识推理的任务中表现突出。具体的性能提升数据未知，需要参考论文。

🎯 应用场景

该研究成果可应用于提升大语言模型的可信度和可靠性，例如在医疗诊断、法律咨询等对准确性要求高的领域。通过更准确地评估模型的自感知能力，可以更好地识别和避免模型产生幻觉，从而提高模型的应用价值。此外，该研究还可以促进对大语言模型内部机制的理解，为未来的模型设计提供指导。

📄 摘要（原文）

Hallucination prediction in large language models (LLMs) is often interpreted as a sign of self-awareness. However, we argue that such performance can arise from question-side shortcuts rather than true model-side introspection. To disentangle these factors, we propose the Approximate Question-side Effect (AQE), which quantifies the contribution of question-awareness. Our analysis across multiple datasets reveals that much of the reported success stems from exploiting superficial patterns in questions. We further introduce SCAO (Semantic Compression by Answering in One word), a method that enhances the use of model-side signals. Experiments show that SCAO achieves strong and consistent performance, particularly in settings with reduced question-side cues, highlighting its effectiveness in fostering genuine self-awareness in LLMs.