In-Context Learning with Iterative Demonstration Selection

📄 arXiv: 2310.09881v4 📥 PDF

作者: Chengwei Qin, Aston Zhang, Chen Chen, Anirudh Dagar, Wenming Ye

分类: cs.CL, cs.AI

发布日期: 2023-10-15 (更新: 2024-12-30)

💡 一句话要点

提出迭代示例选择方法以优化上下文学习效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 示例选择 零样本推理 少样本学习 自然语言处理 模型优化

📋 核心要点

  1. 现有的上下文学习方法在示例选择上存在挑战，性能受限于示例的多样性和相似性选择。
  2. 本文提出的迭代示例选择（IDS）方法通过零样本推理，迭代选择与测试样本相关且多样的示例。
  3. 实验结果显示，IDS在多个任务上均表现优异，超越了现有的示例选择方法，提升了学习效果。

📝 摘要（中文）

随着大规模语言模型（LLMs）的发展，少样本学习能力通过上下文学习（ICL）得到了显著提升。然而，ICL的性能对少样本示例的选择高度敏感，如何选择最合适的示例仍然是一个开放性问题。现有文献强调了选择多样性或语义相似的示例的重要性，但忽视了最佳选择维度是任务特定的。为此，本文提出了迭代示例选择（IDS）方法，利用零样本推理（Zero-shot-CoT）在示例选择前对测试样本进行推理，从而选择与测试样本相关且多样的示例作为ICL演示。通过多次迭代，IDS采用多数投票获得最终结果。实验表明，IDS在推理、问答和主题分类等任务上均优于现有的ICL示例选择方法。

🔬 方法详解

问题定义：本文旨在解决上下文学习中示例选择的挑战，现有方法往往忽视任务特定的最佳选择维度，导致性能不稳定。

核心思路：提出迭代示例选择（IDS）方法，通过零样本推理在示例选择前对测试样本进行分析，从而选择出既多样又相关的示例，以优化上下文学习效果。

技术框架：IDS的整体流程包括：首先对测试样本进行零样本推理，生成推理路径；然后基于推理路径选择示例，最后通过多次迭代和多数投票获得最终结果。

关键创新：IDS的核心创新在于结合了多样性和相似性两个维度的示例选择，且通过迭代过程不断优化选择，显著提升了上下文学习的效果。

关键设计：在示例选择过程中，IDS采用了零样本推理的输出作为选择依据，设计了迭代机制以不断更新示例集，确保最终选择的示例能够最大程度上提升模型的推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，IDS在推理、问答和主题分类任务上均显著优于现有方法，具体性能提升幅度达到了X%（具体数据需根据原文补充），展示了其在上下文学习中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的问答系统、对话生成、文本分类等任务。通过优化示例选择，IDS能够提高模型在少样本情况下的学习效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Spurred by advancements in scale, large language models (LLMs) have demonstrated strong few-shot learning ability via in-context learning (ICL). However, the performance of ICL has been shown to be highly sensitive to the selection of few-shot demonstrations. Selecting the most suitable examples as context remains an ongoing challenge and an open problem. Existing literature has highlighted the importance of selecting examples that are diverse or semantically similar to the test sample while ignoring the fact that the optimal selection dimension, i.e., diversity or similarity, is task-specific. Based on how the test sample is answered, we propose Iterative Demonstration Selection (IDS) to leverage the merits of both dimensions. Using zero-shot chain-of-thought reasoning (Zero-shot-CoT), IDS iteratively selects examples that are diverse but still strongly correlated with the test sample as ICL demonstrations. Specifically, IDS applies Zero-shot-CoT to the test sample before demonstration selection. The output reasoning path is then used to choose demonstrations that are prepended to the test sample for inference. The generated answer is followed by its corresponding reasoning path for extracting a new set of demonstrations in the next iteration. After several iterations, IDS adopts majority voting to obtain the final result. Through extensive experiments on tasks including reasoning, question answering, and topic classification, we demonstrate that IDS can consistently outperform existing ICL demonstration selection methods.