Large Language Models Encode Semantics in Low-Dimensional Linear Subspaces
作者: Baturay Saglam, Paul Kassianik, Blaine Nelson, Sajana Weerawardhena, Yaron Singer, Amin Karbasi
分类: cs.CL, cs.LG
发布日期: 2025-07-13 (更新: 2025-08-21)
💡 一句话要点
发现大语言模型在低维线性子空间中编码语义信息，并提出基于此的防御机制。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 语义表示 低维子空间 对抗防御 提示注入 模型安全 可解释性
📋 核心要点
- 大型语言模型缺乏对内部语义表示的理解，导致其行为难以解释和控制，存在潜在风险。
- 论文核心思想是发现语义信息存在于低维线性子空间中，并利用这种几何特性来构建防御机制。
- 实验证明，基于潜在空间的MLP探针能有效提高模型对恶意查询和提示注入的防御能力，优于传统方法。
📝 摘要（中文）
理解大型语言模型（LLM）的潜在空间几何结构是解释其行为和改进对齐的关键。本文对11个自回归模型在6个科学主题中的隐藏表示进行了大规模实证研究，旨在探索LLM在多大程度上组织了与语义理解相关的内部表示。研究发现，高层次的语义信息始终存在于低维子空间中，这些子空间在不同领域形成线性可分的表示。这种可分性在更深层和在引发结构化推理或对齐行为的提示下变得更加明显，即使表面内容保持不变。这些发现支持直接在潜在空间中操作的几何感知工具，以检测和减轻有害或对抗性内容。作为概念验证，我们在最后一层隐藏状态上训练了一个MLP探针，作为轻量级的潜在空间护栏。这种方法显著提高了对恶意查询和提示注入的拒绝率，这些查询和注入绕过了模型的内置安全对齐和外部token级过滤器。
🔬 方法详解
问题定义：现有的大型语言模型虽然在各种任务上表现出色，但其内部的语义表示方式仍然是一个黑盒。理解LLM如何组织和编码语义信息，对于提高模型的可解释性、安全性和对齐至关重要。现有的方法主要集中在token级别或表面特征，缺乏对潜在空间几何结构的深入探索，难以有效应对复杂的对抗性攻击和恶意提示。
核心思路：本文的核心思路是，LLM将高层次的语义信息编码在低维线性子空间中。这意味着可以通过分析和操作这些子空间来理解和控制模型的行为。通过识别与特定语义概念相关的子空间，可以构建针对特定类型攻击的防御机制。这种方法基于对LLM内部表示的几何理解，而非仅仅依赖于表面特征的过滤。
技术框架：研究首先对多个LLM在不同科学主题上进行推理时产生的隐藏层表示进行采样。然后，使用主成分分析（PCA）等降维技术识别包含主要语义信息的低维子空间。接着，训练一个简单的多层感知机（MLP）探针，以区分不同语义类别的表示。最后，将训练好的MLP探针作为潜在空间护栏，用于检测和阻止恶意查询和提示注入。整体流程包括数据采样、子空间识别、探针训练和防御部署四个阶段。
关键创新：最重要的技术创新点在于发现了LLM将语义信息编码在低维线性子空间中的现象。这一发现为理解和控制LLM的行为提供了一个新的视角。与传统的基于token级别过滤的方法相比，基于潜在空间的防御机制能够更有效地应对复杂的对抗性攻击和提示注入，因为它直接作用于模型的内部表示。
关键设计：关键设计包括：1) 选择合适的降维方法（如PCA）来识别低维子空间；2) 设计有效的MLP探针，以区分不同语义类别的表示；3) 确定合适的阈值，以区分恶意查询和正常查询。实验中，作者使用了最后一层隐藏状态作为探针的输入，并采用交叉熵损失函数进行训练。具体的网络结构和超参数设置需要根据不同的模型和任务进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于潜在空间的MLP探针能够显著提高模型对恶意查询和提示注入的拒绝率，优于传统的token级别过滤器。具体而言，该方法在某些攻击场景下可以将拒绝率提高超过50%。此外，研究还发现，在更深层和在引发结构化推理或对齐行为的提示下，语义信息的可分性更加明显，这进一步验证了该方法的有效性。
🎯 应用场景
该研究成果可应用于提高大型语言模型的安全性，例如构建更有效的对抗性攻击防御系统，防止模型生成有害或不当内容。此外，该方法还可以用于提高模型的可解释性，帮助研究人员理解模型如何进行推理和决策。未来，该技术有望应用于内容审核、智能客服、教育等多个领域，提升人工智能系统的可靠性和安全性。
📄 摘要（原文）
Understanding the latent space geometry of large language models (LLMs) is key to interpreting their behavior and improving alignment. However, it remains unclear to what extent LLMs internally organize representations related to semantic understanding. To explore this, we conduct a large-scale empirical study of hidden representations in 11 autoregressive models across 6 scientific topics. We find that high-level semantic information consistently resides in low-dimensional subspaces that form linearly separable representations across domains. This separability becomes more pronounced in deeper layers and under prompts that elicit structured reasoning or alignment behavior$\unicode{x2013}$even when surface content remains unchanged. These findings support geometry-aware tools that operate directly in latent space to detect and mitigate harmful or adversarial content. As a proof of concept, we train an MLP probe on final-layer hidden states to act as a lightweight latent-space guardrail. This approach substantially improves refusal rates on malicious queries and prompt injections that bypass both the model's built-in safety alignment and external token-level filters.