Aligner: One Global Token is Worth Millions of Parameters When Aligning Large Language Models

📄 arXiv: 2312.05503v1 📥 PDF

作者: Zhou Ziheng, Yingnian Wu, Song-Chun Zhu, Demetri Terzopoulos

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-12-09

备注: 81 pages, 77 figures

💡 一句话要点

Aligner：利用单个全局Token对齐大语言模型，参数效率提升显著

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 参数高效微调 对齐 注意力机制 全局Token

📋 核心要点

  1. 现有大语言模型对齐方法参数效率低，微调成本高昂，难以适应资源受限场景。
  2. Aligner通过引入全局共享的可调Token，影响每一层的注意力机制，实现高效对齐。
  3. 实验表明，Aligner仅用少量参数即可达到与LoRA等方法相当的性能，显著提升参数效率。

📝 摘要（中文）

本文介绍了一种名为Aligner的参数高效微调（PEFT）方法，用于对齐数十亿参数的大型语言模型（LLM）。Aligner采用独特的设计，构建了一个全局共享的可调Token集合，用于修改每一层的注意力。值得注意的是，即使仅使用一个Token（仅占5,000个参数），Aligner在指令遵循和价值对齐任务中，也能与需要数百万参数的LoRA等最先进的LLM适配方法相媲美。除了参数效率的多数量级提升外，Aligner还为LLM的内部机制提供了有价值的见解。我们的方法及其有效性的架构特征，以及我们的实验表明，LLM以某种正交的方式分离了其内部对“形式”和“知识”的处理。这一发现有望激发对LLM机制理解和价值对齐的新研究。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）对齐方法，如全参数微调或LoRA等，通常需要大量的可训练参数，导致计算成本高昂，难以部署在资源受限的环境中。此外，这些方法对LLM内部机制的理解贡献有限，难以指导更有效的对齐策略。

核心思路：Aligner的核心思路是利用少量全局共享的可调Token，通过影响每一层的注意力机制，来实现对LLM的有效对齐。这种方法基于一个假设：LLM内部对“形式”和“知识”的处理是相对正交的，因此可以通过调整注意力机制来引导模型的行为，而无需修改所有参数。

技术框架：Aligner的整体架构是在LLM的每一层中，将全局共享的可调Token添加到输入序列中。这些Token通过修改注意力权重，影响模型对不同输入Token的关注程度，从而实现对模型行为的控制。整个过程无需修改LLM的原始参数，仅需训练这些新增的Token。

关键创新：Aligner最重要的技术创新点在于其参数效率。通过使用全局共享的Token，Aligner可以用极少的参数（例如，单个Token的5,000个参数）达到与需要数百万参数的方法相当的性能。这与现有方法需要大量可训练参数形成了鲜明对比。

关键设计：Aligner的关键设计包括：1) 全局共享的Token集合，确保所有层都受到相同Token的影响；2) 将Token添加到每一层的输入序列中，以便影响每一层的注意力机制；3) 使用标准的反向传播算法训练这些Token，优化目标是指令遵循或价值对齐等任务的性能。

📊 实验亮点

Aligner在指令遵循和价值对齐任务中表现出色。实验结果表明，仅使用一个Token（5,000个参数），Aligner即可达到与LoRA等需要数百万参数的方法相当的性能。这表明Aligner在参数效率方面具有显著优势，并且能够有效地对齐LLM。

🎯 应用场景

Aligner具有广泛的应用前景，包括：1) 在资源受限的环境中部署对齐的LLM；2) 加速LLM的定制化和个性化；3) 作为一种研究工具，用于探索LLM的内部机制和行为模式；4) 促进LLM在安全、伦理等方面的价值对齐。该方法有望降低LLM的使用门槛，并推动其在更多领域的应用。

📄 摘要（原文）

We introduce Aligner, a novel Parameter-Efficient Fine-Tuning (PEFT) method for aligning multi-billion-parameter-sized Large Language Models (LLMs). Aligner employs a unique design that constructs a globally shared set of tunable tokens that modify the attention of every layer. Remarkably with this method, even when using one token accounting for a mere 5,000 parameters, Aligner can still perform comparably well to state-of-the-art LLM adaptation methods like LoRA that require millions of parameters. This capacity is substantiated in both instruction following and value alignment tasks. Besides the multiple order-of-magnitude improvement in parameter efficiency, the insight Aligner provides into the internal mechanisms of LLMs is also valuable. The architectural features and efficacy of our method, in addition to our experiments demonstrate that an LLM separates its internal handling of "form" and "knowledge" in a somewhat orthogonal manner. This finding promises to motivate new research into LLM mechanism understanding and value alignment.