Layer Importance and Hallucination Analysis in Large Language Models via Enhanced Activation Variance-Sparsity

📄 arXiv: 2411.10069v1 📥 PDF

作者: Zichen Song, Sitan Huang, Yuxin Wu, Zhongfeng Kang

分类: cs.CL, cs.PF

发布日期: 2024-11-15

备注: 20 pages, 5 figures

💡 一句话要点

提出基于激活方差-稀疏性的层重要性评估方法，并用于大语言模型幻觉抑制。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 层重要性评估 激活方差 稀疏性 幻觉抑制 对比学习 模型压缩

📋 核心要点

  1. 现有大语言模型层结构冗余，且缺乏有效方法评估各层对模型性能的贡献，阻碍了模型优化和可解释性。
  2. 提出激活方差-稀疏性评分(AVSS)及其增强版本(EAVSS)，分别用于评估层重要性和幻觉倾向，并结合对比学习抑制幻觉。
  3. 实验表明，基于AVSS剪枝可保留90%以上性能，基于EAVSS的对比学习可有效缓解幻觉，性能提升高达12%。

📝 摘要（中文）

本文提出了一种基于激活方差-稀疏性评分(AVSS)的层重要性评估方法，用于评估大语言模型(LLM)中不同层的重要性。AVSS结合了归一化的激活方差和稀疏性，以量化每一层对整体模型性能的贡献。通过基于AVSS对层进行排序并剪枝影响最小的25%的层，在问答、语言建模和情感分类等任务上的实验表明，可以保留超过90%的原始性能，突出了LLM架构中潜在的冗余。在AVSS的基础上，本文提出了一种增强版本(EAVSS)，专门用于评估跨层的幻觉倾向。EAVSS引入了幻觉特定激活方差(HSAV)和幻觉特定稀疏性(HSS)指标，从而能够精确识别容易产生幻觉的层。通过在这些层上结合对比学习，有效地减轻了幻觉的产生，从而有助于构建更鲁棒和高效的LLM（性能提升高达12%）。在NQ、SciQ、TriviaQA、TruthfulQA和WikiQA数据集上的结果证明了该方法的有效性，为LLM中的层重要性评估和幻觉抑制提供了一个全面的框架。

🔬 方法详解

问题定义：现有的大语言模型结构复杂，层数较多，存在冗余。如何评估每一层对模型性能的贡献，并识别容易产生幻觉的层，是一个重要的研究问题。现有的方法通常难以准确量化每一层的作用，也无法有效定位和缓解幻觉问题。

核心思路：本文的核心思路是利用激活方差和稀疏性来评估每一层的重要性。激活方差反映了该层输出的激活程度，稀疏性反映了该层激活的集中程度。通过结合这两个指标，可以更全面地评估每一层对模型性能的贡献。对于幻觉问题，则通过构建幻觉特定指标，并结合对比学习，来抑制幻觉的产生。

技术框架：该方法主要包含两个阶段：层重要性评估和幻觉抑制。在层重要性评估阶段，首先计算每一层的AVSS评分，然后根据评分对层进行排序，并剪枝不重要的层。在幻觉抑制阶段，首先计算每一层的EAVSS评分，然后选择容易产生幻觉的层，并利用对比学习来训练这些层，从而抑制幻觉的产生。

关键创新：该方法最重要的创新点在于提出了AVSS和EAVSS评分，这两个评分能够有效地量化每一层对模型性能的贡献和幻觉倾向。此外，该方法还结合了对比学习，从而能够有效地抑制幻觉的产生。

关键设计：AVSS评分的计算公式为：AVSS = Normalized Activation Variance * Sparsity。EAVSS评分则引入了Hallucination-Specific Activation Variance (HSAV) 和 Hallucination-Specific Sparsity (HSS)。对比学习的目标是使得模型在真实样本上的输出与在幻觉样本上的输出尽可能接近，从而抑制幻觉的产生。具体的损失函数设计未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于AVSS剪枝25%的层后，模型在问答、语言建模和情感分类等任务上仍能保留90%以上的原始性能。通过在NQ、SciQ、TriviaQA、TruthfulQA和WikiQA数据集上进行测试，基于EAVSS的对比学习方法能够有效缓解幻觉，性能提升高达12%。

🎯 应用场景

该研究成果可应用于大语言模型的压缩与优化，降低模型计算成本和存储空间。同时，该方法能够有效缓解大语言模型的幻觉问题，提高模型在知识密集型任务中的可靠性和准确性，例如智能客服、知识问答、内容生成等。

📄 摘要（原文）

Evaluating the importance of different layers in large language models (LLMs) is crucial for optimizing model performance and interpretability. This paper first explores layer importance using the Activation Variance-Sparsity Score (AVSS), which combines normalized activation variance and sparsity to quantify each layer's contribution to overall model performance. By ranking layers based on AVSS and pruning the least impactful 25\%, our experiments on tasks such as question answering, language modeling, and sentiment classification show that over 90\% of the original performance is retained, highlighting potential redundancies in LLM architectures. Building on AVSS, we propose an enhanced version tailored to assess hallucination propensity across layers (EAVSS). This improved approach introduces Hallucination-Specific Activation Variance (HSAV) and Hallucination-Specific Sparsity (HSS) metrics, allowing precise identification of hallucination-prone layers. By incorporating contrastive learning on these layers, we effectively mitigate hallucination generation, contributing to more robust and efficient LLMs(The maximum performance improvement is 12\%). Our results on the NQ, SciQ, TriviaQA, TruthfulQA, and WikiQA datasets demonstrate the efficacy of this method, offering a comprehensive framework for both layer importance evaluation and hallucination mitigation in LLMs.