Augmenting In-Context-Learning in LLMs via Automatic Data Labeling and Refinement

📄 arXiv: 2410.10348v1 📥 PDF

作者: Joseph Shtok, Amit Alfassy, Foad Abo Dahood, Eliyahu Schwartz, Sivan Doveh, Assaf Arbelle

分类: cs.CL

发布日期: 2024-10-14

💡 一句话要点

提出ADLR自动标注与优化方法，提升LLM在复杂推理任务中的上下文学习能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 大型语言模型 自动数据标注 数据增强 思维链

📋 核心要点

  1. 现有上下文学习方法依赖人工构建包含中间步骤的演示数据，成本高昂且效率低下。
  2. ADLR方法通过自动生成和过滤演示数据，降低了对人工标注的依赖，提升了数据构建效率。
  3. 实验表明，ADLR在代码表格问答和数学推理任务中，性能提升高达5.5%。

📝 摘要（中文）

大型语言模型（LLM）的性能可以通过思维链（CoT）或上下文学习（ICL）得到显著提升，这两种方法都依赖于提供少量示例来演示解决任务所需的步骤。然而，虽然生成输入-输出对的数据集相对容易，但提供包含中间步骤的演示需要繁琐的手工劳动。这些步骤可以是可执行的程序（如在agentic flows中），也可以是逐步推理（如在CoT中）。本文提出了一种自动数据标注与优化（ADLR）方法，该方法从少量手动制作的示例种子开始，自动生成和过滤包含上述中间步骤的演示。我们证明了ADLR在基于代码的表格问答和数学推理中的优势，实现了高达5.5%的性能提升。我们方法的代码已在补充材料中提供，并将公开发布。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在上下文学习（ICL）中，由于缺乏高质量的演示数据而导致的性能瓶颈问题。现有方法依赖人工构建包含中间步骤（如思维链CoT或可执行代码）的演示数据，这需要大量的人力投入，成本高昂，并且难以扩展到复杂任务。

核心思路：ADLR的核心思路是利用LLM自身的能力，从少量人工标注的种子示例出发，自动生成大量的候选演示数据，并通过一系列过滤和优化策略，筛选出高质量的演示数据。这种方法旨在减少对人工标注的依赖，提高数据构建的效率和可扩展性。

技术框架：ADLR方法包含以下主要阶段： 1. 种子示例构建：人工构建少量高质量的种子示例，包含输入、中间步骤和输出。 2. 自动数据生成：利用LLM，基于种子示例生成大量的候选演示数据。生成过程可以采用不同的策略，例如基于模板的生成、基于规则的生成或基于模型的生成。 3. 数据过滤：对生成的候选数据进行过滤，去除低质量或不相关的示例。过滤可以基于规则、基于模型或基于人工审核。 4. 数据优化：对过滤后的数据进行优化，例如纠正错误、完善细节或增加多样性。优化可以基于规则、基于模型或基于人工审核。 5. 上下文学习：将优化后的演示数据用于LLM的上下文学习，提升模型在目标任务上的性能。

关键创新：ADLR的关键创新在于其自动生成和优化演示数据的能力。与传统的手工标注方法相比，ADLR能够显著降低数据构建的成本和时间，并且能够更容易地扩展到复杂任务。此外，ADLR还能够利用LLM自身的能力，生成更具多样性和创造性的演示数据。

关键设计：论文中没有详细描述关键的参数设置、损失函数、网络结构等技术细节。数据过滤和优化阶段的具体实现方式（例如，使用的模型、规则或人工审核标准）未知。自动数据生成阶段如何利用LLM，以及如何控制生成数据的质量和多样性，也缺乏具体描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ADLR方法在代码表格问答和数学推理任务中取得了显著的性能提升，最高可达5.5%。这表明ADLR能够有效地生成高质量的演示数据，提升LLM的上下文学习能力。具体的基线模型和数据集信息未知，因此无法进行更详细的对比分析。

🎯 应用场景

ADLR方法可广泛应用于需要上下文学习的LLM应用场景，例如代码生成、数学推理、表格问答、智能客服等。通过自动生成高质量的演示数据，可以显著提升LLM在这些任务上的性能，降低人工标注成本，加速LLM的落地应用。该方法还有潜力应用于机器人控制、智能规划等领域，提升AI系统的自主学习能力。

📄 摘要（原文）

It has been shown that Large Language Models' (LLMs) performance can be improved for many tasks using Chain of Thought (CoT) or In-Context Learning (ICL), which involve demonstrating the steps needed to solve a task using a few examples. However, while datasets with input-output pairs are relatively easy to produce, providing demonstrations which include intermediate steps requires cumbersome manual work. These steps may be executable programs, as in agentic flows, or step-by-step reasoning as in CoT. In this work, we propose Automatic Data Labeling and Refinement (ADLR), a method to automatically generate and filter demonstrations which include the above intermediate steps, starting from a small seed of manually crafted examples. We demonstrate the advantage of ADLR in code-based table QA and mathematical reasoning, achieving up to a 5.5% gain. The code implementing our method is provided in the Supplementary material and will be made available.