Steering the CensorShip: Uncovering Representation Vectors for LLM "Thought" Control
作者: Hannah Cyberey, David Evans
分类: cs.CL, cs.CR, cs.CY
发布日期: 2025-04-23 (更新: 2025-08-11)
备注: Accepted to COLM 2025
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于表征工程的LLM审查控制方法，揭示并操控模型“思想”
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 审查控制 表征工程 思想抑制 安全调优
📋 核心要点
- 现有LLM审查机制缺乏透明度，难以理解其工作原理和影响。
- 通过表征工程，寻找控制LLM审查程度的拒绝-服从向量和思想抑制向量。
- 实验表明，该方法能有效检测和控制LLM的审查行为，并移除推理过程中的审查。
📝 摘要（中文）
大型语言模型（LLMs）已经改变了我们获取信息的方式。这些模型通常经过调整，会拒绝执行被认为有害的请求，并生成与模型控制者偏好更一致的响应。为了理解这种“审查”机制，我们使用表征工程技术来研究开源的安全调优模型。我们提出了一种拒绝-服从向量的寻找方法，该向量可以检测和控制模型输出中的审查级别。我们还分析了最近从DeepSeek-R1提炼出的推理LLM，并通过“思想抑制”揭示了审查的另一个维度。我们展示了类似的方法可以用来找到抑制模型推理过程的向量，从而通过应用该向量的负倍数来移除审查。我们的代码已公开。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLMs）中存在的审查机制不透明的问题。现有的安全调优模型虽然可以避免生成有害内容，但也可能过度审查，限制了模型的表达能力和创造性。理解和控制这种审查机制，使其在安全性和实用性之间取得平衡，是当前面临的挑战。
核心思路：论文的核心思路是利用表征工程技术，在LLM的隐空间中寻找特定的向量，这些向量能够控制模型的审查行为。通过操纵这些向量，可以实现对模型输出的干预，例如，增强或减弱模型的审查程度，甚至移除审查。这种方法的核心在于假设LLM的审查行为是由其内部表征决定的，通过改变这些表征，可以影响模型的行为。
技术框架：论文的技术框架主要包括以下几个步骤：1) 选择一个安全调优的LLM作为研究对象；2) 构建一个包含拒绝和服从两种类型提示的数据集；3) 使用表征工程技术，在LLM的隐空间中寻找拒绝-服从向量；4) 评估该向量对模型输出的影响，并进行调整；5) 对于推理LLM，寻找思想抑制向量，并尝试移除审查。
关键创新：论文的关键创新在于提出了寻找和利用“拒绝-服从向量”和“思想抑制向量”来控制LLM审查行为的方法。与传统的黑盒方法不同，该方法试图从LLM的内部表征入手，理解和干预审查机制。此外，论文还揭示了推理LLM中存在的“思想抑制”现象，并提出了相应的解决方案。
关键设计：论文的关键设计包括：1) 使用对比学习的方法来寻找拒绝-服从向量，通过最大化拒绝和服从提示之间的向量距离来提高向量的有效性；2) 设计特定的评估指标来衡量审查程度，例如，有害内容的生成概率；3) 对于思想抑制向量，采用类似的方法，但目标是抑制模型的推理过程，从而移除审查。
📊 实验亮点
论文通过实验验证了所提出的方法能够有效控制LLM的审查行为。例如，通过应用拒绝-服从向量，可以显著改变模型对有害请求的响应，使其从拒绝变为服从，反之亦然。对于推理LLM，通过应用思想抑制向量的负倍数，可以移除模型在推理过程中的审查，使其能够生成更完整、更深入的答案。具体性能数据未知。
🎯 应用场景
该研究成果可应用于提升LLM的透明度和可控性，例如，允许用户自定义审查级别，或在特定场景下移除审查。此外，该方法还可以用于评估不同LLM的审查策略，并发现潜在的安全漏洞。未来，该技术有望应用于内容审核、智能客服、教育等领域，促进LLM的健康发展。
📄 摘要（原文）
Large language models (LLMs) have transformed the way we access information. These models are often tuned to refuse to comply with requests that are considered harmful and to produce responses that better align with the preferences of those who control the models. To understand how this "censorship" works. We use representation engineering techniques to study open-weights safety-tuned models. We present a method for finding a refusal--compliance vector that detects and controls the level of censorship in model outputs. We also analyze recent reasoning LLMs, distilled from DeepSeek-R1, and uncover an additional dimension of censorship through "thought suppression". We show a similar approach can be used to find a vector that suppresses the model's reasoning process, allowing us to remove censorship by applying the negative multiples of this vector. Our code is publicly available at: https://github.com/hannahxchen/llm-censorship-steering