How Robust are LLMs to In-Context Majority Label Bias?

📄 arXiv: 2312.16549v1 📥 PDF

作者: Karan Gupta, Sumegh Roychowdhury, Siva Rajesh Kasa, Santhosh Kumar Kasa, Anish Bhanushali, Nikhil Pattisapu, Prasanna Srinivasa Murthy

分类: cs.LG, cs.AI, cs.CL

发布日期: 2023-12-27

备注: 6 pages, 3 figures, 2 table. Accepted at Workshop on Responsible Language Modeling, AAAI 2024, (www.aaai.org)

💡 一句话要点

研究LLM在上下文学习中对多数标签偏差的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 多数标签偏差 鲁棒性 大型语言模型 文本分类

📋 核心要点

  1. 现有研究表明，LLM的上下文学习容易受到多数标签偏差的影响，导致模型预测结果偏向于训练集中占多数的标签。
  2. 本文深入研究了不同LLM在面对多数标签偏差时的鲁棒性差异，并分析了模型大小和指令提示对鲁棒性的影响。
  3. 实验结果表明，不同LLM对多数标签偏差的鲁棒性差异显著，部分模型表现出较高的鲁棒性，且模型大小和指令提示的丰富性对鲁棒性有积极影响。

📝 摘要（中文）

本文研究了大型语言模型(LLM)在上下文学习(ICL)设置中，面对多数标签偏差时的鲁棒性。多数标签偏差是指在上下文样本中，标记示例的分布偏向于一个或多个特定类别，导致LLM更容易预测这些标签。这种偏差可能源于现实工业场景中不可避免的因素，如后勤限制、数据收集方法的固有偏差以及对多样化数据源的有限访问。研究表明，不同模型和任务的鲁棒性边界差异很大，某些LLM对多数标签偏差具有很高的鲁棒性（约90%）。此外，研究结果还强调了模型大小和指令提示的丰富性对模型鲁棒性的影响。本研究仅限于公开可用的开源模型，以确保透明性和可重复性。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在上下文学习（ICL）中，面对多数标签偏差时的鲁棒性问题。现有方法在处理真实世界数据时，由于数据收集和标注过程中的固有偏差，容易导致训练数据中出现多数标签偏差，进而影响LLM的性能。现有研究表明，LLM的ICL容易受到这种偏差的影响，但缺乏对不同模型和任务鲁棒性差异的深入分析。

核心思路：论文的核心思路是通过系统性地控制上下文样本中的标签分布，人为引入不同程度的多数标签偏差，然后评估LLM在不同偏差程度下的预测准确率。通过观察LLM性能随偏差程度的变化，来量化其鲁棒性。同时，分析模型大小和指令提示对鲁棒性的影响。

技术框架：论文的技术框架主要包括以下几个步骤：1) 选择一系列文本分类任务和开源LLM；2) 构建包含多数标签偏差的上下文样本，通过调整不同类别样本的比例来控制偏差程度；3) 使用构建的上下文样本进行ICL，并记录LLM的预测结果；4) 计算在不同偏差程度下的预测准确率，并分析模型鲁棒性；5) 分析模型大小和指令提示对鲁棒性的影响。

关键创新：论文的关键创新在于：1) 系统性地研究了不同LLM在面对多数标签偏差时的鲁棒性差异，揭示了不同模型对偏差的敏感程度不同；2) 深入分析了模型大小和指令提示对鲁棒性的影响，为提高LLM的鲁棒性提供了指导；3) 研究仅限于公开可用的开源模型，保证了研究的透明性和可重复性。

关键设计：论文的关键设计包括：1) 通过调整上下文样本中不同类别样本的比例来控制多数标签偏差的程度；2) 使用不同的指令提示，评估提示的丰富性对模型鲁棒性的影响；3) 选择不同大小的LLM，分析模型大小与鲁棒性的关系；4) 使用准确率作为评估模型鲁棒性的指标。

📊 实验亮点

实验结果表明，不同LLM对多数标签偏差的鲁棒性差异显著，某些LLM表现出较高的鲁棒性（约90%）。同时，实验还发现模型大小和指令提示的丰富性对模型鲁棒性有积极影响。例如，更大的模型和更丰富的指令提示通常能够更好地抵抗多数标签偏差。

🎯 应用场景

该研究成果可应用于各种文本分类任务，尤其是在数据存在偏差的情况下。例如，情感分析、垃圾邮件检测、新闻分类等。通过了解LLM对多数标签偏差的鲁棒性，可以更好地选择和调整模型，提高模型在实际应用中的性能和可靠性。未来的研究可以探索更复杂的偏差类型和更有效的缓解策略。

📄 摘要（原文）

In the In-Context Learning (ICL) setup, various forms of label biases can manifest. One such manifestation is majority label bias, which arises when the distribution of labeled examples in the in-context samples is skewed towards one or more specific classes making Large Language Models (LLMs) more prone to predict those labels. Such discrepancies can arise from various factors, including logistical constraints, inherent biases in data collection methods, limited access to diverse data sources, etc. which are unavoidable in a real-world industry setup. In this work, we study the robustness of in-context learning in LLMs to shifts that occur due to majority label bias within the purview of text classification tasks. Prior works have shown that in-context learning with LLMs is susceptible to such biases. In our study, we go one level deeper and show that the robustness boundary varies widely for different models and tasks, with certain LLMs being highly robust (~90%) to majority label bias. Additionally, our findings also highlight the impact of model size and the richness of instructional prompts contributing towards model robustness. We restrict our study to only publicly available open-source models to ensure transparency and reproducibility.