What LLMs Do in the Shadows: Reading Context Reliance from the Unembedding Dark Space

📄 arXiv: 2610.23182v1 📥 PDF

作者: Alexandra Kuleshova, Andrey Volodichev, Daria Kotova, Alexey Zaytsev

分类: cs.CL

发布日期: 2026-10-16

💡 一句话要点

提出DarkLens以高效检测大语言模型的上下文依赖性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 上下文依赖性 真实度检测 轻量级检测器 暗空间 暗物质比率 问答系统 文本生成

📋 核心要点

  1. 现有方法在检测大语言模型的上下文依赖性时，通常需要额外的计算开销，影响效率。
  2. 本文提出通过投影隐藏状态到暗空间来估计上下文依赖性，设计了轻量级的检测器DarkLens。
  3. 在多个基准测试中，DarkLens在性能上与现有方法相当或更优，且无需额外的计算资源。

📝 摘要（中文）

检测大语言模型（LLMs）中的真实度幻觉对于其在高风险领域的安全部署至关重要。现有方法通常需要显著的额外开销，如生成注意力图、进行额外的前向传播或训练辅助探针。本文展示了通过将隐藏状态投影到暗空间来估计上下文依赖性，这一子空间不仅作为初始令牌的注意力汇聚，还积极介导上下文处理。我们定义的暗物质比率（DMR）直接反映上下文利用情况。结合DMR与参数知识评分，形成了DarkLens，这是一种在单次前向传播中运行的轻量级真实度检测器。经过在六个开放权重LLMs（4B-13B参数）上的三个问答和摘要基准测试评估，DarkLens的表现与多种基线相当或更优，无需额外的前向传播或探针训练。

🔬 方法详解

问题定义：本文旨在解决大语言模型中上下文依赖性检测的效率问题。现有方法需要额外的计算资源，限制了其应用场景。

核心思路：通过将隐藏状态投影到暗空间，估计上下文依赖性，从而避免了额外的前向传播和探针训练。

技术框架：整体架构包括隐藏状态的投影、暗物质比率（DMR）的计算，以及与参数知识评分的结合，形成DarkLens检测器。

关键创新：最重要的创新在于利用暗空间的特性来直接评估上下文利用情况，显著降低了计算开销。

关键设计：关键设计包括DMR的定义和计算方法，以及如何将其与参数知识评分有效结合，以实现高效的真实度检测。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在六个开放权重LLMs（4B-13B参数）上的评估结果显示，DarkLens在三个问答和摘要基准测试中表现出色，能够与多种基线方法相媲美或超越，且无需额外的前向传播或探针训练，提升了检测效率。

🎯 应用场景

该研究的潜在应用领域包括高风险领域的自动化问答系统、文本生成和信息摘要等。通过提高大语言模型的可靠性，能够增强其在医疗、法律和金融等关键领域的应用价值，确保信息的准确性和可信度。

📄 摘要（原文）

Detecting faithfulness hallucinations in large language models (LLMs) is crucial for their safe deployment in high-stakes domains. Recent approaches address this by contrasting contextual against parametric knowledge utilization, yet measuring context reliance typically demands noticeable overhead, such as materializing attention maps, running additional forward passes, or training auxiliary probes. In this work, we show that context reliance can be estimated by projecting hidden states onto the dark space - directions that compose weakly with the unembedding matrix. Beyond its recognized function as an initial-token attention sink, we show that this subspace actively mediates context processing, and that its share of hidden-state norm - termed the Dark Matter Ratio (DMR) - provides a direct score of context utilization. Pairing DMR with a parametric knowledge score yields DarkLens, a lightweight faithfulness detector operating strictly within a single forward pass. Evaluated across three QA and summarization benchmarks on six open-weight LLMs (4B-13B parameters), DarkLens matches or outperforms a wide range of baselines without requiring extra forward passes or probe training.