LUMOS: Tracing Parametric Knowledge from Training Data to Behavioral Outputs in LLMs
作者: Seoyeon Ye, Gayoung Kim, Jiyoung Hong, Sookyung Kim, Hyunsoo Cho
分类: cs.AI
发布日期: 2026-10-02
备注: Accepted to NeurIPS 2026 (Poster)
💡 一句话要点
提出LUMOS框架以解决LLMs知识评估中的不确定性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 知识评估 因果链追踪 自我反思 训练数据
📋 核心要点
- 现有方法主要关注LLMs的输出，缺乏对训练数据的验证，导致对模型知识的理解存在不确定性。
- 论文提出LUMOS框架，通过追踪知识的因果链，结合透明的训练数据，提供对模型行为的深入分析。
- 实验结果显示，模型在训练内容上的表现良好，但在未见内容上表现不佳，强调了训练数据在知识评估中的重要性。
📝 摘要（中文）
当前对大型语言模型（LLMs）参数知识的分析主要集中于输出，未能验证模型实际训练内容。这导致了关于模型是否真正具备一般化能力或仅仅是死记硬背的基本问题，缺乏证据支持。为了解决这些模糊性，我们提出了LUMOS，一个诊断框架，追踪从训练数据到行为输出的知识因果链。通过基于已验证的训练数据进行分析，我们发现模型内部编码的稀有事实具有高可分离性（84%），但在行为上表现不佳（54%），尽管随着模型规模的增大，这一检索差距有所缩小。此外，当模型被要求自我反思其答案时，对训练内容的表现可靠（83%），但对未见内容的表现则降至随机基线水平（49%）。这些发现表明，将训练数据纳入LLM评估可以将推测性诊断转变为可验证的声明，建议将这一维度作为LLM知识评估的标准组成部分。
🔬 方法详解
问题定义：论文要解决的问题是现有LLMs知识评估方法的不足，尤其是缺乏对训练数据的验证，导致对模型知识的理解存在模糊性和不确定性。
核心思路：LUMOS框架的核心思路是追踪从训练数据到行为输出的知识因果链，通过已验证的训练数据进行分析，以揭示模型的真实知识表现。
技术框架：LUMOS框架包括数据收集、知识追踪和行为分析三个主要模块。首先，收集透明的训练数据；其次，追踪知识的因果链；最后，分析模型的行为输出与训练内容之间的关系。
关键创新：最重要的技术创新点在于将训练数据的验证纳入LLM评估中，从而将推测性诊断转变为可验证的声明。这一方法与现有方法的本质区别在于其强调了训练数据的作用。
关键设计：在设计上，LUMOS框架采用了透明的训练数据集，使用了高可分离性的稀有事实编码，并在分析中引入了自我反思机制，以评估模型对训练和未见内容的表现。具体的参数设置和损失函数设计尚未详细披露。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在训练内容上的表现达到83%，而在未见内容上仅为49%，显示出显著的检索差距。此外，模型在高可分离性稀有事实的编码能力上表现出84%的准确率，强调了训练数据在知识评估中的重要性。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的评估与优化，尤其是在教育、信息检索和人机交互等领域。通过更准确地评估模型的知识表现，可以提升模型在实际应用中的可靠性和有效性，推动智能系统的进一步发展。
📄 摘要（原文）
Current analyses of LLMs' parametric knowledge are largely output-centric, drawing conclusions about what a model knows without verifying what it was actually trained on. This leaves fundamental questions, such as whether a correct response reflects genuine generalization or rote memorization, grounded in speculation rather than evidence. To resolve these ambiguities, we introduce LUMOS, a diagnostic framework that traces knowledge along the causal chain from training-data exposure to behavioral output, leveraging OLMo 2 with its fully transparent training corpus. By grounding analysis in verified exposure, we reveal that models internally encode rare facts with high separability (84%) yet fail to express them behaviorally (54%), though this retrieval gap narrows with scale. Furthermore, when models are asked to self-reflect on their own answers, they perform reliably on trained content (83%) but drop to random-baseline levels (49%) on unseen content. This collapse persists even under chain-of-thought prompting, which inflates confidence signals rather than improving calibration. Collectively, these findings demonstrate that incorporating the training-data axis into LLM evaluation transforms speculative diagnoses into verifiable claims, and we advocate that this axis should be a standard component of knowledge assessment in LLMs.