From Distributional to Overton Pluralism: Investigating Large Language Model Alignment

📄 arXiv: 2406.17692v2 📥 PDF

作者: Thom Lake, Eunsol Choi, Greg Durrett

分类: cs.CL, cs.LG

发布日期: 2024-06-25 (更新: 2025-05-12)

备注: NAACL 2025 (Main Conference)

🔗 代码/项目: GITHUB

💡 一句话要点

研究表明对齐后的LLM行为可由基础模型通过上下文学习复现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 模型对齐 上下文学习 分布偏移 表面对齐

📋 核心要点

  1. 现有研究表明LLM对齐后响应多样性降低，但原因尚不明确，需要进一步分析对齐过程的影响。
  2. 该研究通过分析对齐前后LLM的输出分布，探究对齐是否抑制了有用信息，以及对齐模型的行为是否能从基础模型中恢复。
  3. 实验结果表明，对齐后的LLM行为可以通过基础模型结合上下文学习进行复现，无需微调，支持了表面对齐假设。

📝 摘要（中文）

对齐过程改变了大型语言模型（LLM）输出分布的多个属性。本文分析了LLM响应对齐后分布偏移的两个方面。首先，重新审视了先前报道的对齐后响应多样性降低的现象。分析表明，响应多样性的明显下降主要归因于质量控制和信息聚合。对齐抑制了不相关和无用的内容，同时将输出分布转移到更长的响应，涵盖了来自基础LLM的多个响应的信息，本质上是在单个响应中呈现多样化的信息。在没有发现对齐抑制有用信息的证据后，自然会提出相反的问题：对齐后的模型是否呈现了无法从基础模型中恢复的信息？第二项研究表明情况并非如此，对齐模型的行为可以从基础模型中恢复，而无需微调。上下文示例和关于响应内容的较低分辨率语义提示的组合可以从基础LLM中引出与对齐调整的LLM响应相似的响应，其相似程度与对齐调整的LLM响应彼此之间的相似程度相当。综上所述，这些结果表明，当前的对齐技术捕获但没有扩展类似助手的基本LLM行为的有用子集，为表面对齐假设提供了进一步的证据。他们还表明，上下文对齐可以作为一种模仿对齐LLM的策略，而无需进行微调。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）对齐过程对模型输出分布的影响，特别是关注对齐后响应多样性的变化以及对齐模型行为的可恢复性。现有研究观察到对齐后LLM的响应多样性降低，但缺乏对这一现象的深入解释。此外，现有方法主要依赖于微调进行模型对齐，成本较高，缺乏对上下文学习在对齐中的作用的探索。

核心思路：论文的核心思路是深入分析对齐前后LLM的输出分布，通过实验验证对齐是否抑制了有用信息，以及对齐模型的行为是否可以通过基础模型结合上下文学习进行复现。论文假设对齐过程主要起到质量控制和信息聚合的作用，而并非引入了全新的知识或能力。因此，可以通过合适的上下文提示，引导基础模型产生与对齐模型相似的输出。

技术框架：论文的技术框架主要包括以下几个步骤：1) 分析对齐前后LLM的输出分布，评估响应多样性的变化；2) 设计实验验证对齐是否抑制了有用信息；3) 利用上下文示例和语义提示，引导基础模型生成与对齐模型相似的响应；4) 比较基础模型和对齐模型在不同提示下的输出相似度，评估上下文学习的效果。

关键创新：论文的关键创新在于：1) 深入分析了LLM对齐过程对输出分布的影响，提出了对齐主要起到质量控制和信息聚合作用的观点；2) 验证了对齐模型的行为可以通过基础模型结合上下文学习进行复现，无需微调，为低成本的LLM对齐提供了新的思路；3) 提出了利用语义提示引导基础模型生成特定响应的方法，为上下文学习的应用提供了新的方向。

关键设计：论文的关键设计包括：1) 使用多种指标评估响应多样性，包括词汇多样性、语义多样性等；2) 设计了多种类型的上下文示例，包括正例、反例、语义提示等；3) 使用相似度指标（如余弦相似度）评估基础模型和对齐模型输出的相似度；4) 对比了不同提示策略下基础模型的性能，评估上下文学习的效果。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，对齐后的LLM行为可以通过基础模型结合上下文学习进行复现，其相似程度与对齐调整的LLM响应彼此之间的相似程度相当。这表明，当前的对齐技术捕获但没有扩展类似助手的基本LLM行为的有用子集，为表面对齐假设提供了进一步的证据。该研究还表明，上下文对齐可以作为一种模仿对齐LLM的策略，而无需进行微调。

🎯 应用场景

该研究成果可应用于降低LLM对齐的成本，通过上下文学习在基础模型上模拟对齐模型的行为，减少对微调的需求。此外，该研究也为理解LLM对齐过程提供了新的视角，有助于开发更有效的对齐方法，提升LLM的安全性和可靠性。该研究还可用于评估不同对齐策略的效果，指导LLM的开发和部署。

📄 摘要（原文）

The alignment process changes several properties of a large language model's (LLM's) output distribution. We analyze two aspects of post-alignment distributional shift of LLM responses. First, we re-examine previously reported reductions in response diversity post-alignment. Our analysis suggests that an apparent drop in the diversity of responses is largely explained by quality control and information aggregation. Alignment suppresses irrelevant and unhelpful content while shifting the output distribution toward longer responses that cover information spanning several responses from the base LLM, essentially presenting diverse information in a single response. Finding little evidence that alignment suppresses useful information, it is natural to ask the opposite question: do aligned models surface information that cannot be recovered from base models? Our second investigation shows this is not the case and the behavior of aligned models is recoverable from base models without fine-tuning. A combination of in-context examples and lower-resolution semantic hints about response content can elicit responses from base LLMs that are as similar to alignment-tuned LLM responses as alignment-tuned LLM responses are to each other. Taken together, these results indicate that current alignment techniques capture but do not extend the useful subset of assistant-like base LLM behavior, providing further evidence for the Superficial Alignment Hypothesis. They also show that in-context alignment can go surprisingly far as a strategy for imitating aligned LLMs without fine-tuning. Our code and data is available at https://github.com/thomlake/investigating-alignment.