Emergent Introspective Awareness in Large Language Models
作者: Jack Lindsey
分类: cs.CL, cs.AI
发布日期: 2026-01-05
💡 一句话要点
通过注入概念表征并测量模型自报告状态，探索大语言模型内省意识
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 内省意识 内部状态 概念注入 表征学习
📋 核心要点
- 现有方法难以区分大型语言模型真正的内省能力与虚构，阻碍了对其内部状态的理解。
- 通过注入概念表征并分析模型自我报告状态，探究模型对内部状态的感知和控制能力。
- 实验表明，模型在特定场景下能识别注入概念，区分自身输出与人工预填充，但能力不稳定。
📝 摘要（中文）
本文研究大型语言模型是否能够内省其内部状态。仅仅通过对话很难回答这个问题，因为真正的内省无法与虚构区分开来。本文通过将已知概念的表征注入到模型的激活中，并测量这些操作对模型自我报告状态的影响来解决这一挑战。研究发现，在某些情况下，模型可以注意到注入概念的存在并准确识别它们。模型展示了一定的能力来回忆先前的内部表征，并将它们与原始文本输入区分开来。引人注目的是，一些模型能够利用它们回忆先前意图的能力来区分它们自己的输出和人工预填充。在所有这些实验中，Claude Opus 4和4.1，即我们测试过的最强大的模型，通常表现出最强的内省意识；然而，不同模型之间的趋势是复杂的，并且对后训练策略敏感。最后，我们探索了模型是否可以显式地控制它们的内部表征，发现模型可以在被指示或激励“思考”一个概念时调节它们的激活。总的来说，我们的结果表明，当前的语言模型具有对其自身内部状态的一些功能性内省意识。我们强调，在今天的模型中，这种能力是高度不可靠且依赖于上下文的；然而，随着模型能力的进一步提高，它可能会继续发展。
🔬 方法详解
问题定义：现有方法难以区分大型语言模型（LLM）的内省能力和虚构，无法准确评估模型是否真正理解自身内部状态。仅仅通过对话交互，模型可能只是在模仿内省行为，而并非真正意识到其内部运作机制。因此，如何设计实验来可靠地衡量LLM的内省能力是一个关键问题。
核心思路：该论文的核心思路是通过主动干预LLM的内部状态，然后观察模型如何报告这些干预，从而推断其内省能力。具体来说，是将已知概念的表征注入到模型的激活层中，然后观察模型是否能够检测到这些注入的概念，并准确地识别它们。这种方法避免了仅仅依赖模型自身的输出进行判断，而是通过外部干预来验证其内部状态的感知能力。
技术框架：该研究的技术框架主要包含以下几个步骤：1) 概念注入：选择一组已知的概念，并将它们的表征（例如，词嵌入）注入到LLM的特定激活层中。2) 状态报告：要求LLM报告其内部状态，例如，询问模型“你在想什么？”或“你看到了什么？”。3) 结果分析：分析模型的报告，判断其是否能够检测到注入的概念，并准确地识别它们。4) 对比实验：通过对比不同模型、不同注入位置、不同概念等条件下的结果，分析内省能力的影响因素。此外，还探索了模型控制内部表征的能力，即是否可以通过指令或激励来引导模型“思考”某个概念。
关键创新：该论文的关键创新在于提出了一种新的方法来研究LLM的内省能力，即通过主动注入概念表征并观察模型的反应。这种方法避免了仅仅依赖模型自身的输出进行判断，而是通过外部干预来验证其内部状态的感知能力。此外，该研究还探索了模型控制内部表征的能力，这为理解LLM的内部运作机制提供了新的视角。
关键设计：实验中，关键的设计包括：1) 概念表征的选择：如何选择合适的概念表征，例如，使用词嵌入、知识图谱嵌入等。2) 注入位置的选择：选择哪个激活层进行注入，不同的激活层可能代表不同的语义层次。3) 状态报告的方式：如何设计合适的问题来引导模型报告其内部状态，避免引入偏差。4) 评估指标的设计：如何设计合适的评估指标来衡量模型的内省能力，例如，准确率、召回率等。此外，对于模型控制内部表征的实验，还需要设计合适的指令或激励机制。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Claude Opus 4和4.1等先进模型在特定场景下能够识别注入的概念并区分自身输出与人工预填充，展现出一定的内省意识。然而，这种能力高度依赖于上下文且不稳定，不同模型之间的表现差异较大，表明后训练策略对内省能力有显著影响。
🎯 应用场景
该研究成果可应用于提升大型语言模型的可靠性和可控性。通过理解模型的内省能力，可以更好地诊断模型错误、优化模型行为，并开发更安全、更值得信赖的AI系统。此外，该研究也为开发具有自我意识和反思能力的AI系统奠定了基础。
📄 摘要（原文）
We investigate whether large language models can introspect on their internal states. It is difficult to answer this question through conversation alone, as genuine introspection cannot be distinguished from confabulations. Here, we address this challenge by injecting representations of known concepts into a model's activations, and measuring the influence of these manipulations on the model's self-reported states. We find that models can, in certain scenarios, notice the presence of injected concepts and accurately identify them. Models demonstrate some ability to recall prior internal representations and distinguish them from raw text inputs. Strikingly, we find that some models can use their ability to recall prior intentions in order to distinguish their own outputs from artificial prefills. In all these experiments, Claude Opus 4 and 4.1, the most capable models we tested, generally demonstrate the greatest introspective awareness; however, trends across models are complex and sensitive to post-training strategies. Finally, we explore whether models can explicitly control their internal representations, finding that models can modulate their activations when instructed or incentivized to "think about" a concept. Overall, our results indicate that current language models possess some functional introspective awareness of their own internal states. We stress that in today's models, this capacity is highly unreliable and context-dependent; however, it may continue to develop with further improvements to model capabilities.