On the Noise Robustness of In-Context Learning for Text Generation

📄 arXiv: 2405.17264v3 📥 PDF

作者: Hongfu Gao, Feipeng Zhang, Wenyu Jiang, Jun Shu, Feng Zheng, Hongxin Wei

分类: cs.CL, cs.LG

发布日期: 2024-05-27 (更新: 2024-10-24)

备注: Accepted by NeurIPS 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出局部困惑度排序(LPR)方法，提升文本生成任务中上下文学习对噪声数据的鲁棒性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 文本生成 噪声鲁棒性 局部困惑度排序 数据清洗

📋 核心要点

  1. 上下文学习在文本生成任务中易受噪声标注的影响，导致性能显著下降。
  2. 提出局部困惑度排序(LPR)方法，通过替换噪声候选样本的近邻来提高数据质量。
  3. 实验表明，LPR方法在噪声标注数据集上显著提升了文本生成任务的性能，EM得分最高提升18.75。

📝 摘要（中文）

大型语言模型(LLMs)通过上下文学习(ICL)在下游任务中表现出令人印象深刻的性能，这在很大程度上依赖于从大量标注示例中选择的演示质量。最近的研究表明，上下文学习对文本分类中的噪声演示具有鲁棒性。然而，本文表明，在文本生成任务中，噪声标注会显著损害上下文学习的性能。为了解决这个问题，我们提出了一种简单而有效的方法，称为局部困惑度排序(LPR)，它用更可能是干净的最近邻居替换“噪声”候选者。我们的方法受到噪声标签引起的困惑度偏差分析的启发，并将困惑度分解为固有困惑度和匹配困惑度。因此，LPR背后的关键思想是通过在语义空间中的邻居之间执行排序来解耦匹配困惑度。我们的方法可以防止选择的演示包含不匹配的输入-标签对，同时保持原始选择方法的有效性。大量的实验证明了LPR的有效性，在具有噪声标注的常见基准测试中，EM得分提高了高达18.75。

🔬 方法详解

问题定义：论文旨在解决文本生成任务中，上下文学习(ICL)对噪声标注数据敏感的问题。现有的上下文学习方法在处理文本分类任务时表现出一定的鲁棒性，但在文本生成任务中，噪声标注会严重影响模型的性能，导致生成质量下降。

核心思路：论文的核心思路是利用局部困惑度排序(LPR)来识别并替换潜在的噪声样本。LPR的核心在于解耦困惑度，将困惑度分解为固有困惑度和匹配困惑度，并通过在语义空间中对邻居进行排序来降低匹配困惑度的影响，从而选择更干净的样本。

技术框架：LPR方法主要包含以下几个步骤：1) 使用现有的上下文学习方法选择候选的演示样本；2) 对于每个候选样本，在语义空间中找到其最近邻居；3) 计算候选样本及其邻居的困惑度；4) 基于困惑度对邻居进行排序，选择困惑度较低的邻居替换原始候选样本；5) 使用替换后的演示样本进行上下文学习。

关键创新：LPR的关键创新在于利用局部信息（即邻居信息）来识别和纠正噪声标注。与全局的困惑度计算相比，局部困惑度排序能够更准确地反映样本之间的匹配程度，从而更有效地识别噪声样本。此外，LPR方法可以与现有的上下文学习方法相结合，具有良好的通用性。

关键设计：LPR的关键设计包括：1) 如何定义语义空间，例如使用预训练语言模型的embedding；2) 如何选择邻居，例如使用k-近邻算法；3) 如何计算困惑度，例如使用语言模型对输入-输出对进行评估；4) 如何确定替换策略，例如选择困惑度最低的邻居。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LPR方法在具有噪声标注的常见基准测试中，EM得分提高了高达18.75。该方法在多个数据集上都取得了显著的性能提升，证明了其在提高上下文学习对噪声数据鲁棒性方面的有效性。实验结果还表明，LPR方法可以与不同的上下文学习方法相结合，具有良好的通用性。

🎯 应用场景

该研究成果可应用于各种文本生成任务，尤其是在标注数据质量不高或存在噪声的情况下。例如，可以应用于机器翻译、文本摘要、对话生成等领域，提高生成模型的鲁棒性和生成质量。此外，该方法还可以用于数据清洗和噪声检测，提高数据集的质量。

📄 摘要（原文）

Large language models (LLMs) have shown impressive performance on downstream tasks by in-context learning (ICL), which heavily relies on the quality of demonstrations selected from a large set of annotated examples. Recent works claim that in-context learning is robust to noisy demonstrations in text classification. In this work, we show that, on text generation tasks, noisy annotations significantly hurt the performance of in-context learning. To circumvent the issue, we propose a simple and effective approach called Local Perplexity Ranking (LPR), which replaces the "noisy" candidates with their nearest neighbors that are more likely to be clean. Our method is motivated by analyzing the perplexity deviation caused by noisy labels and decomposing perplexity into inherent perplexity and matching perplexity. Our key idea behind LPR is thus to decouple the matching perplexity by performing the ranking among the neighbors in semantic space. Our approach can prevent the selected demonstrations from including mismatched input-label pairs while preserving the effectiveness of the original selection methods. Extensive experiments demonstrate the effectiveness of LPR, improving the EM score by up to 18.75 on common benchmarks with noisy annotations. Our code is available at https://github.com/ml-stat-Sustech/Local-Perplexity-Ranking.