Beneath the Surface of Chains-of-Thought: A Mechanistic Interpretation of Reasoning Operations in LLMs
作者: Seogyeong Jeong, Jaehui Hwang, Dongyoon Han, Geonmo Gu, Alice Oh, Taekyung Kim
分类: cs.CL
发布日期: 2026-09-04
备注: To appear in EMNLP 2026 Main Conference. 43 pages, 14 figures, 19 tables
🔗 代码/项目: GITHUB
💡 一句话要点
探讨大语言模型推理操作的几何结构
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 推理操作 几何结构 表示学习 上下文依赖 注意力机制 操作对齐
📋 核心要点
- 现有研究对大语言模型推理操作的几何结构缺乏深入理解，导致推理过程的透明性不足。
- 本文通过分析隐藏表示中的几何结构，探讨推理操作的可分离性及其在不同层次的表现。
- 实验结果表明，推理操作在中间层的可分离性最强，且操作对齐依赖于上下文，揭示了模型内部的复杂性。
📝 摘要（中文）
大语言模型中的推理通过多种功能操作展开，如问题表述、目标分解和推理。尽管这些操作在文本中被明确区分，但它们在表示空间中的几何组织尚不清楚。本文研究了不同推理操作在隐藏表示中的几何结构，发现这些操作在保留的表示中是可分离的，且在中间层的可分离性达到峰值。此外，研究验证了这种结构并非由词汇或位置混淆所解释。随着层数的增加，基于标记的操作对齐在跨度上变得更加分散，而相同的表面标记根据其周围块的操作以不同方式表示。注意力掩蔽干预进一步表明，块起始处的操作对齐表示依赖于前面的推理上下文。因此，本文展示了语言模型在语言推理表达与其内部几何结构之间保持了表征对应关系。
🔬 方法详解
问题定义：本文旨在解决对大语言模型推理操作几何结构的理解不足，现有方法未能揭示推理过程中的内部机制和表示关系。
核心思路：通过分析隐藏层的表示，探讨不同推理操作的几何结构及其可分离性，揭示操作之间的关系和上下文依赖性。
技术框架：研究采用多层次的表示分析，重点关注中间层的几何结构，结合注意力机制和操作对齐的实验设计，验证不同层次的表示特征。
关键创新：最重要的创新在于发现推理操作在中间层的可分离性，并且这种结构不受词汇或位置因素的影响，展示了模型内部的几何特性。
关键设计：研究中使用了注意力掩蔽干预技术，以探讨操作对齐的上下文依赖性，分析了不同层次的表示分布和操作对齐的变化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在中间层的推理操作可分离性达到峰值，且操作对齐在不同上下文中表现出显著差异。这一发现为理解大语言模型的推理过程提供了重要的实证支持。
🎯 应用场景
该研究为理解大语言模型的推理机制提供了新的视角，潜在应用于自然语言处理、智能问答系统和对话系统等领域。通过揭示模型内部的几何结构，未来可进一步优化模型设计，提高推理能力和透明性。
📄 摘要（原文）
Reasoning in large language models unfolds through diverse functional operations, such as problem formulation, goal decomposition, and deduction. Although these operations are explicitly distinguished in text, little is known about how they are geometrically organized in representation spaces. To this end, we investigate whether distinct reasoning operations exhibit corresponding geometric structure in hidden representations. We find that operations are separable in held-out representations, with separability peaking in middle layers, and verify that this structure is not explained by lexical or positional confounds. Across layers, token-wise operation-alignment becomes more distributed over spans, while identical surface tokens are represented differently depending on the operation of its surrounding chunk. Attention-masking interventions further show that operation-aligned representations at chunk onset depend on preceding reasoning context. Consequently, our work demonstrates that language models maintain representational correspondence between linguistic reasoning expressions and their internal geometric structures. Code and project materials are available at https://github.com/naver-ai/beneath-cot.