Label Set Optimization via Activation Distribution Kurtosis for Zero-shot Classification with Generative Models

📄 arXiv: 2410.19195v2 📥 PDF

作者: Yue Li, Zhixue Zhao, Carolina Scarton

分类: cs.CL

发布日期: 2024-10-24 (更新: 2025-08-26)

备注: Accepted by EMNLP 2025

💡 一句话要点

提出LOADS方法，通过激活分布峰度优化标签集，提升生成模型零样本分类性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本分类 上下文学习 标签集优化 激活分布峰度 大型语言模型

📋 核心要点

  1. 现有零样本分类方法对提示词设计敏感，特别是标签词的选择，但其影响未被充分探索。
  2. LOADS方法通过分析标签词激活神经元的分布，利用峰度选择激活分布更集中的标签集。
  3. 实验表明，LOADS方法在多种任务、数据集和模型上均能有效提升零样本分类性能。

📝 摘要（中文）

本文研究了上下文学习(ICL)中，类标签选项（如词汇或顺序）对零样本分类的影响，发现标签的词汇选择对模型性能和模型对标签顺序的敏感性有重要影响。论文提出LOADS（Label set Optimization via Activation Distribution kurtosiS）方法，一种后验方法，用于在大型语言模型(LLM)的零样本ICL中选择最佳标签集。LOADS基于实证分析，利用峰度来衡量神经元激活分布，从而进行标签选择，仅需单次前向传播，无需梯度传播或标注数据。实验表明，LOADS选择的标签词在跨分类任务、数据集、模型和语言的零样本ICL中始终有效，与使用原始数据集标签词的传统方法相比，性能提升高达0.54至0.76。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在零样本上下文学习中，由于标签词选择不当导致分类性能下降的问题。现有方法通常直接使用数据集中的原始标签词，忽略了不同标签词对模型激活的影响，导致模型性能不稳定，对标签顺序敏感。

核心思路：论文的核心思路是，好的标签词应该能够更集中地激活模型中的神经元，减少噪声激活。通过测量神经元激活分布的峰度，可以评估标签词的质量，并选择最优的标签集。峰度越高，表示激活分布越集中，标签词越有效。

技术框架：LOADS方法是一个后验优化框架，主要包含以下步骤：1) 对每个候选标签词，通过LLM进行一次前向传播，记录模型中每一层神经元的激活值；2) 计算每个神经元激活值的峰度；3) 对所有神经元的峰度值进行平均，得到该标签词的整体峰度得分；4) 选择峰度得分最高的标签集作为最终的优化标签集。整个过程无需梯度传播和标注数据。

关键创新：LOADS方法最重要的创新在于利用神经元激活分布的峰度来评估标签词的质量。与现有方法相比，LOADS不需要额外的训练数据或梯度计算，只需要一次前向传播即可完成标签选择，计算效率高。此外，LOADS方法能够有效降低模型对标签顺序的敏感性，提高零样本分类的鲁棒性。

关键设计：LOADS方法的关键设计包括：1) 选择合适的LLM层进行神经元激活值记录，论文中使用了前馈神经网络层；2) 使用标准的峰度计算公式；3) 对所有神经元的峰度值进行平均，得到标签词的整体得分。没有引入额外的超参数或复杂的网络结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LOADS方法在多个分类任务、数据集、模型和语言上均取得了显著的性能提升。与使用原始数据集标签词的传统方法相比，LOADS方法在零样本ICL中实现了0.54到0.76的性能增益。此外，实验还验证了LOADS方法能够有效降低模型对标签顺序的敏感性，提高了零样本分类的鲁棒性。

🎯 应用场景

LOADS方法可广泛应用于各种零样本分类任务，尤其是在标注数据稀缺或获取成本高的场景下。例如，在情感分析、文本分类、图像分类等领域，可以利用LOADS方法优化标签集，提升LLM的零样本分类性能。该方法还可以应用于多语言场景，选择适合不同语言的标签词，提高跨语言零样本分类的准确性。未来，LOADS方法可以与其他提示工程技术相结合，进一步提升LLM的性能。

📄 摘要（原文）

In-context learning (ICL) performance is highly sensitive to prompt design, yet the impact of class label options (e.g. lexicon or order) in zero-shot classification remains underexplored. This study proposes LOADS (Label set Optimization via Activation Distribution kurtosiS), a post-hoc method for selecting optimal label sets in zero-shot ICL with large language models (LLMs). LOADS is built upon the observations in our empirical analysis, the first to systematically examine how label option design (i.e., lexical choice, order, and elaboration) impacts classification performance. This analysis shows that the lexical choice of the labels in the prompt (such as agree vs. support in stance classification) plays an important role in both model performance and model's sensitivity to the label order. A further investigation demonstrates that optimal label words tend to activate fewer outlier neurons in LLMs' feed-forward networks. LOADS then leverages kurtosis to measure the neuron activation distribution for label selection, requiring only a single forward pass without gradient propagation or labelled data. The LOADS-selected label words consistently demonstrate effectiveness for zero-shot ICL across classification tasks, datasets, models and languages, achieving maximum performance gain from 0.54 to 0.76 compared to the conventional approach of using original dataset label words.