Exploring Imbalanced Annotations for Effective In-Context Learning

📄 arXiv: 2502.04037v2 📥 PDF

作者: Hongfu Gao, Feipeng Zhang, Hao Zeng, Deyu Meng, Bingyi Jing, Hongxin Wei

分类: cs.CL, cs.LG

发布日期: 2025-02-06 (更新: 2025-05-30)

💡 一句话要点

提出RCB方法，解决类不平衡标注下In-Context Learning性能下降问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: In-Context Learning 类不平衡 长尾分布 条件偏差 重加权

📋 核心要点

  1. 现有ICL方法在长尾分布数据集上性能显著下降，原因是示例选择存在偏差。
  2. 提出RCB方法，通过估计条件偏差并重新加权示例得分，缓解类不平衡带来的影响。
  3. 实验表明，RCB能有效提升现有ICL选择方法的平均准确率，最高可达5.42%。

📝 摘要（中文）

大型语言模型(LLMs)通过In-Context Learning (ICL)在下游任务上表现出令人印象深刻的性能，而ICL严重依赖于从标注数据集中选择的示例。然而，现实场景中的数据集通常表现出长尾类分布，导致有偏的示例选择。本文表明，这种类不平衡显著降低了各种任务上的ICL性能，而与选择方法无关。此外，传统的重平衡方法由于忽略了条件偏差（类内倾斜的特征分布），效果不佳。为了解决这个问题，我们提出了一种名为Reweighting with Conditional Bias (RCB)的简单且互补的方法，以提高类不平衡下的ICL性能。具体而言，RCB使用平衡子集估计条件偏差，并基于类权重和条件偏差重新加权示例得分。实际上，RCB防止了从优势类中过度选择，同时保持了当前选择方法的有效性。在常见基准上的大量实验证明了我们方法的有效性，将当前选择方法的平均准确率提高了高达5.42%。

🔬 方法详解

问题定义：论文旨在解决In-Context Learning (ICL) 在类不平衡数据集上的性能下降问题。现有的ICL方法在选择demonstration时，容易受到长尾分布的影响，导致从多数类中选择过多的示例，从而损害了ICL的泛化能力。传统的重平衡方法，例如调整类权重，无法有效解决这个问题，因为它们忽略了类内的条件偏差，即每个类别的特征分布也可能存在偏差。

核心思路：论文的核心思路是通过考虑条件偏差来重新加权demonstration的得分，从而缓解类不平衡带来的影响。具体来说，论文提出了一种名为Reweighting with Conditional Bias (RCB) 的方法，该方法首先估计每个类别的条件偏差，然后基于类权重和条件偏差来调整demonstration的得分。这样可以防止从多数类中过度选择示例，同时保留了当前选择方法的有效性。

技术框架：RCB方法可以与现有的ICL选择方法相结合，作为一个补充模块。其整体流程如下：1) 使用平衡子集估计条件偏差；2) 基于类权重和条件偏差重新加权demonstration的得分；3) 使用重新加权后的得分选择demonstration；4) 使用选择的demonstration进行ICL。

关键创新：RCB的关键创新在于同时考虑了类权重和条件偏差。与传统的重平衡方法只关注类权重不同，RCB还考虑了类内的特征分布偏差，从而更准确地评估每个demonstration的重要性。这种方法能够更有效地缓解类不平衡带来的影响，提高ICL的性能。

关键设计：RCB的关键设计包括：1) 使用平衡子集估计条件偏差。这可以通过从每个类别中随机抽取相同数量的样本来实现。2) 基于类权重和条件偏差重新加权demonstration的得分。具体来说，可以使用以下公式：score' = score * class_weight * conditional_bias，其中score是原始得分，class_weight是类权重，conditional_bias是条件偏差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RCB方法能够显著提升现有ICL选择方法在类不平衡数据集上的性能。例如，在某些基准测试中，RCB将现有选择方法的平均准确率提高了高达5.42%。此外，实验还表明，RCB方法与多种ICL选择方法兼容，并且能够有效地缓解类不平衡带来的影响。

🎯 应用场景

该研究成果可应用于各种存在类不平衡问题的自然语言处理任务，例如文本分类、情感分析、信息抽取等。通过提升ICL在不平衡数据集上的性能，可以降低对大规模平衡标注数据的依赖，从而降低模型训练成本，并提高模型在实际应用中的鲁棒性。

📄 摘要（原文）

Large language models (LLMs) have shown impressive performance on downstream tasks through in-context learning (ICL), which heavily relies on the demonstrations selected from annotated datasets. However, these datasets often exhibit long-tailed class distributions in real-world scenarios, leading to biased demonstration selection. In this work, we show that such class imbalances significantly degrade the ICL performance across various tasks, regardless of selection methods. Moreover, classical rebalancing methods, which focus solely on class weights, yield poor performance due to neglecting condition bias--skewed feature distributions within classes. To address this, we propose Reweighting with Conditional Bias (dubbed RCB), a simple and complementary approach to enhance ICL performance under class imbalance. In particular, RCB estimates conditional bias using a balanced subset and re-weights demonstration scores based on both class weight and conditional bias. In effect, RCB prevents over-selection from dominant classes while preserving the efficacy of current selection methods. Extensive experiments on common benchmarks demonstrate the effectiveness of our method, improving the average accuracy of current selection methods by up to 5.42%.