Spectral Editing of Activations for Large Language Model Alignment

📄 arXiv: 2405.09719v3 📥 PDF

作者: Yifu Qiu, Zheng Zhao, Yftah Ziser, Anna Korhonen, Edoardo M. Ponti, Shay B. Cohen

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-05-15 (更新: 2024-11-03)

备注: 24 pages, NeurIPS 2024

💡 一句话要点

提出激活谱编辑(SEA)方法，用于大语言模型的事实性和偏见对齐。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 对齐 事实性 偏见 激活编辑 谱分析 推理时编辑

📋 核心要点

  1. 大型语言模型存在生成不真实或带有偏见内容的问题，需要有效的对齐方法。
  2. 论文提出激活谱编辑（SEA）方法，通过调整激活向量的谱来提升模型的事实性和减少偏见。
  3. 实验结果表明，SEA方法在多个开源LLM上表现出优越的性能，且计算和数据效率高。

📝 摘要（中文）

大型语言模型（LLMs）常常表现出不良行为，例如生成不真实或带有偏见的内容。在现有的对齐方法之上，编辑其内部表示已被证明可以有效地缓解这些行为。我们提出了一种新颖的推理时编辑方法，即激活谱编辑（SEA），将输入表示投影到与积极演示（例如，真实的）具有最大协方差的方向，同时最小化与消极演示（例如，幻觉）的协方差。我们还使用特征函数将我们的方法扩展到非线性编辑。我们在关于真实性和偏见的基准上，对六个不同大小和模型系列的开源LLM进行了广泛的实验。结果表明，SEA在有效性、推广到类似任务、以及计算和数据效率方面都具有优越性。我们还表明，SEA编辑对其他模型能力只有有限的负面影响。

🔬 方法详解

问题定义：大型语言模型在生成内容时，容易出现不真实、有偏见等不良行为。现有的对齐方法虽然有所改进，但仍存在提升空间。直接编辑模型的内部表示，是一种有潜力的解决方案，但如何高效、有效地进行编辑是一个挑战。

核心思路：论文的核心思路是，通过谱分析的方法，找到激活空间中与积极示例（如真实信息）相关性高，与消极示例（如虚假信息）相关性低的方向。然后，将模型的激活向量投影到这些方向上，从而增强模型生成真实信息的能力，并抑制生成虚假信息的能力。这种方法旨在通过调整激活向量的谱分布，来影响模型的行为。

技术框架：SEA方法主要包含以下几个步骤：1) 收集积极和消极示例数据；2) 提取模型在处理这些示例时的激活向量；3) 对激活向量进行谱分析，计算协方差矩阵；4) 根据协方差矩阵，确定用于投影的方向；5) 在推理时，将模型的激活向量投影到这些方向上。该方法可以应用于模型的不同层，也可以扩展到非线性编辑，通过特征函数来捕捉更复杂的模式。

关键创新：SEA方法的关键创新在于，它利用谱分析的工具，从数据中学习如何编辑模型的激活向量。与以往的编辑方法相比，SEA方法更加数据驱动，能够自动地找到有效的编辑方向。此外，SEA方法还具有计算效率高的优点，因为它只需要计算协方差矩阵，而不需要训练额外的模型。

关键设计：SEA方法的关键设计包括：1) 如何选择积极和消极示例数据，这直接影响到编辑的效果；2) 如何选择进行谱分析的层，不同的层可能包含不同的信息；3) 如何确定用于投影的方向，这需要权衡积极和消极示例之间的关系；4) 如何将SEA方法扩展到非线性编辑，这需要选择合适的特征函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SEA方法在truthfulness和bias benchmarks上，优于现有的编辑方法。在六个不同大小和模型系列的开源LLM上进行了验证，证明了SEA的有效性和泛化能力。SEA方法在计算和数据效率方面也表现出色，并且对模型其他能力的负面影响有限。

🎯 应用场景

该研究成果可应用于提升大型语言模型的事实性、减少偏见，从而提高LLM在信息检索、智能客服、内容生成等领域的可靠性和安全性。通过谱编辑激活，可以有效缓解LLM的幻觉问题，使其在实际应用中更加值得信赖，并降低因不实信息带来的风险。

📄 摘要（原文）

Large language models (LLMs) often exhibit undesirable behaviours, such as generating untruthful or biased content. Editing their internal representations has been shown to be effective in mitigating such behaviours on top of the existing alignment methods. We propose a novel inference-time editing method, namely spectral editing of activations (SEA), to project the input representations into directions with maximal covariance with the positive demonstrations (e.g., truthful) while minimising covariance with the negative demonstrations (e.g., hallucinated). We also extend our method to non-linear editing using feature functions. We run extensive experiments on benchmarks concerning truthfulness and bias with six open-source LLMs of different sizes and model families. The results demonstrate the superiority of SEA in effectiveness, generalisation to similar tasks, as well as computation and data efficiency. We also show that SEA editing only has a limited negative impact on other model capabilities.