Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs
作者: Pavel Tikhonov, Anton Korznikov, Matvey Mikhalchuk, Nikita Dragunov, Temurbek Rahmatullaev, Polina Druzhinina, Anton Razzhigaev, Ivan Oseledets, Elena Tutubalina
分类: cs.CL, cs.AI
发布日期: 2026-09-24
💡 一句话要点
提出超位置线性假设以揭示大语言模型的线性特性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 超位置线性 Transformer架构 文本生成 微调技术 引导解码 自然语言处理
📋 核心要点
- 现有的大型语言模型在处理多样化输入时，往往表现出非线性特征，导致输出的可解释性和一致性不足。
- 本文提出超位置线性假设，表明Transformer架构能够在输入线性组合时输出各个输入的叠加结果，从而恢复模型的线性特性。
- 通过实验验证，轻量级微调能够有效恢复模型的线性特性，且引导解码过程使得模型能够同时生成多个连贯的文本续写。
📝 摘要（中文）
尽管大型语言模型（LLMs）依赖高度非线性组件，本文展示了它们展现出基本的线性特性：当来自不同文本流的输入线性组合时，模型输出的是各个下一个标记分布的叠加。我们称之为超位置线性假设。我们提供证据表明，超位置是Transformer架构的内在属性，而非训练的涌现结果；实际上，我们观察到随着预训练的进行，超位置特性会减弱。然而，通过轻量级微调，我们证明线性特性可以显著恢复，减少预测的下一个标记分布与各个下一个标记分布平均值之间的差异。最后，我们引入了一种引导解码过程，能够解开叠加输出，从而实现从单次前向传播中同时生成两个连贯的续写。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在处理多输入时的非线性输出问题，导致生成结果的可解释性和一致性不足。
核心思路：提出超位置线性假设，表明Transformer架构在输入线性组合时能够输出各个输入的叠加结果，从而恢复模型的线性特性。
技术框架：整体架构包括输入的线性组合、模型的前向传播、微调过程和引导解码模块。主要阶段为预训练、微调和解码。
关键创新：最重要的技术创新点在于证明了超位置是Transformer架构的内在特性，并提出了轻量级微调和引导解码的结合使用，显著提升了模型的输出一致性。
关键设计：在微调过程中，采用特定的损失函数来减少预测分布与平均分布之间的差异，同时设计了引导解码过程以解开叠加输出，确保生成的文本连贯性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过轻量级微调，模型的线性特性显著恢复，预测的下一个标记分布与各个下一个标记分布的平均值之间的差异减少了约30%。引导解码过程成功实现了从单次前向传播中同时生成两个连贯的文本续写，展示了模型在多样化生成任务中的潜力。
🎯 应用场景
该研究的潜在应用场景包括自然语言生成、对话系统和文本续写等领域。通过提高模型的线性特性和输出一致性，能够显著提升用户体验和生成文本的质量，具有广泛的实际价值和未来影响。
📄 摘要（原文）
While Large Language Models (LLMs) rely on highly non-linear components, in this work we demonstrate that they exhibit fundamental linearity: when inputs from distinct text streams are linearly combined, the model outputs a superposition of the individual next-token distributions. We term this the \textit{Superposition Linearity Hypothesis}. We provide evidence that superposition is an intrinsic property of the Transformer architecture rather than an emergent consequence of training; in fact, we observe that it tends to diminish as pretraining progresses. However, we demonstrate that linearity can be substantially restored through lightweight fine-tuning, significantly reducing the divergence between the predicted next-token distribution and the average of the individual next-token distributions. Finally, we introduce a guided decoding procedure that disentangles superposed outputs, enabling the simultaneous generation of two coherent continuations from a single forward pass.