Householder Pseudo-Rotation: A Novel Approach to Activation Editing in LLMs with Direction-Magnitude Perspective

📄 arXiv: 2409.10053v2 📥 PDF

作者: Van-Cuong Pham, Thien Huu Nguyen

分类: cs.CL

发布日期: 2024-09-16 (更新: 2024-12-09)

备注: EMNLP 2024

💡 一句话要点

提出Householder伪旋转，从方向-幅度视角提升LLM激活编辑的安全性和一致性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 激活编辑 大型语言模型 Householder变换 伪旋转 安全性 可控性 steering vector

📋 核心要点

  1. 现有激活编辑方法通过添加steering vectors修改LLM激活，难以兼顾性能提升和激活幅度一致性。
  2. 论文提出Householder伪旋转（HPR）方法，从方向和幅度角度编辑激活，保持激活范数。
  3. 实验表明，HPR方法在多个安全基准测试中表现出更好的性能。

📝 摘要（中文）

激活编辑是一种新兴的研究领域，它通过直接编辑大型语言模型（LLM）的内部表示来改变其行为并实现期望的属性。现有的工作主要将LLM的激活视为空间中的点，并通过添加steering vectors来修改它们。然而，这种方法在实现更大的性能改进的同时，保持激活幅度的必要一致性方面存在局限性。为了克服这些问题，我们提出了一种新颖的编辑方法，该方法从方向和幅度的角度看待激活。我们的方法名为Householder Pseudo-Rotation (HPR)，它模仿旋转变换，从而保持激活范数，并在各种安全基准测试中获得改进的性能。

🔬 方法详解

问题定义：现有激活编辑方法主要通过在激活向量上添加steering vectors来实现对LLM行为的控制。然而，这种方法存在一个根本性的问题：它忽略了激活向量的幅度信息，而仅仅关注其方向。这导致在提升模型性能的同时，难以维持激活向量幅度的一致性，进而影响模型的稳定性和泛化能力。现有方法的痛点在于无法在性能提升和激活幅度保持之间取得平衡。

核心思路：论文的核心思路是将激活编辑视为一个旋转变换，而不是简单的向量加法。通过模拟旋转变换，可以有效地保持激活向量的范数（即幅度），从而避免幅度不一致的问题。具体而言，论文利用Householder变换的性质，构造一个伪旋转矩阵，对激活向量进行旋转。这样既可以改变激活向量的方向，从而影响模型的行为，又可以保持激活向量的幅度，从而保证模型的稳定性。

技术框架：HPR方法的整体框架可以分为以下几个步骤：1. 确定需要编辑的激活层；2. 计算steering vector，该向量指示了期望的激活方向变化；3. 利用steering vector构造Householder伪旋转矩阵；4. 将伪旋转矩阵应用于激活向量，完成激活编辑。

关键创新：HPR方法最重要的技术创新在于将激活编辑问题转化为一个旋转变换问题。与传统的向量加法方法相比，HPR方法能够更好地保持激活向量的幅度信息，从而提高模型的稳定性和泛化能力。此外，HPR方法利用Householder变换构造伪旋转矩阵，计算效率高，易于实现。

关键设计：HPR方法的关键设计在于Householder伪旋转矩阵的构造。给定steering vector v，Householder矩阵H可以表示为H = I - 2vv^T / ||v||^2，其中I是单位矩阵。通过将激活向量与H相乘，可以实现对激活向量的旋转。steering vector v 的选择至关重要，它决定了激活向量的旋转方向和角度。论文中具体如何选择steering vector v 的细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了Householder伪旋转方法，并在多个安全基准测试中验证了其有效性。具体性能数据未知，但摘要表明HPR方法在保持激活范数的同时，能够提升模型在安全任务上的表现。与现有激活编辑方法相比，HPR方法在性能提升和幅度一致性方面取得了更好的平衡。

🎯 应用场景

该研究成果可应用于提升大型语言模型在安全、伦理和可控性方面的表现。例如，可以利用该方法编辑LLM的激活，使其避免生成有害信息、歧视性言论或不准确的事实。此外，该方法还可以用于个性化LLM的行为，使其更好地适应特定用户的需求和偏好。未来，该技术有望在智能客服、内容生成、教育辅导等领域发挥重要作用。

📄 摘要（原文）

Activation Editing, which involves directly editting the internal representations of large language models (LLMs) to alter their behaviors and achieve desired properties, has emerged as a promising area of research. Existing works primarily treat LLMs' activations as points in space and modify them by adding steering vectors. However, this approach is limited in its ability to achieve greater performance improvement while maintaining the necessary consistency of activation magnitudes. To overcome these issues, we propose a novel editing method that views activations in terms of their directions and magnitudes. Our method, named Householder Pseudo-Rotation (HPR), mimics the rotation transformation, thus preserving activation norms and resulting in an improved performance on various safety benchmarks.