Retrieved In-Context Principles from Previous Mistakes

📄 arXiv: 2407.05682v1 📥 PDF

作者: Hao Sun, Yong Jiang, Bo Wang, Yingyan Hou, Yan Zhang, Pengjun Xie, Fei Huang

分类: cs.CL

发布日期: 2024-07-08

💡 一句话要点

提出检索式上下文原则(RICP)，利用历史错误提升大语言模型推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 大型语言模型 错误分析 知识检索 师生学习

📋 核心要点

  1. 现有方法利用错误进行LLM改进，但缺乏定制化，错误覆盖不充分。
  2. RICP框架通过教师模型分析学生模型的错误，提取任务和问题级别的原则。
  3. 实验表明，RICP能有效提升多种提示策略下的模型性能，无需教师模型干预。

📝 摘要（中文）

上下文学习(ICL)通过正确的输入-输出示例，已成为将大型语言模型(LLM)适配到下游任务的关键。最近的研究试图通过从错误中获得的原则来提高模型性能，但这些方法缺乏定制化和足够的错误覆盖。为了解决这些限制，我们提出了检索式上下文原则(RICP)，这是一种新颖的师生框架。在RICP中，教师模型分析学生模型的错误，以生成防止类似错误的理由和见解。这些错误基于其根本原因进行聚类，以开发任务级别的原则，从而增强原则的错误覆盖范围。在推理过程中，检索每个问题最相关的错误，以创建问题级别的原则，从而提高所提供指导的定制化程度。RICP与现有的提示方法正交，并且在推理过程中不需要教师模型的干预。在七个推理基准上的实验结果表明，RICP在应用于各种提示策略时，能有效地提高性能。

🔬 方法详解

问题定义：现有方法试图利用从错误中学习的原则来提升大型语言模型(LLM)的推理能力，但存在两个主要痛点：一是缺乏定制化，即所有问题都使用相同的原则指导；二是错误覆盖不足，即原则未能覆盖所有可能出现的错误类型。

核心思路：RICP的核心思路是构建一个师生框架，教师模型负责分析学生模型的错误，并从中提取出具有泛化能力的原则。这些原则不仅要覆盖多种错误类型（通过聚类实现），还要能够根据具体问题进行定制化（通过检索相关错误实现）。这样，模型就能在推理时获得更精准、更有效的指导。

技术框架：RICP框架包含以下几个主要阶段： 1. 错误分析与原因生成：教师模型分析学生模型的错误，并生成导致这些错误的理由和见解。 2. 错误聚类与任务级原则生成：基于错误的原因，将相似的错误聚类，并为每个簇生成任务级别的原则，以提高错误覆盖率。 3. 问题级原则检索与应用：在推理阶段，对于每个问题，检索最相关的历史错误，并基于这些错误生成问题级别的原则，从而实现定制化指导。 4. 学生模型推理：将检索到的问题级原则作为上下文，输入学生模型进行推理。

关键创新：RICP的关键创新在于其检索式的原则应用方式。与以往方法直接使用预定义的原则不同，RICP能够根据具体问题动态地检索最相关的历史错误，并基于这些错误生成定制化的原则。这种方法既提高了原则的针对性，又避免了人工设计原则的局限性。此外，RICP是一个通用的框架，可以与现有的各种提示方法结合使用。

关键设计： 1. 错误原因生成：使用教师模型生成错误原因，可以采用多种方法，例如使用预训练语言模型进行文本生成。 2. 错误聚类：可以使用各种聚类算法，例如k-means或层次聚类，基于错误原因的文本表示进行聚类。 3. 相关错误检索：可以使用向量检索技术，例如使用sentence embeddings计算问题与历史错误的相似度，并检索最相似的错误。 4. 原则表示：原则可以表示为自然语言文本，也可以表示为向量形式，以便于检索和应用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RICP在七个推理基准上均能有效提升模型性能。例如，在某些基准上，RICP能够将模型的准确率提高5%以上。更重要的是，RICP能够与各种现有的提示策略相结合，进一步提升模型性能。这表明RICP具有很强的通用性和适应性。

🎯 应用场景

RICP具有广泛的应用前景，可用于提升各种大型语言模型在推理、问答、代码生成等任务中的性能。通过从历史错误中学习，RICP能够帮助模型更好地理解任务要求，避免犯类似的错误。此外，RICP还可以应用于教育领域，帮助学生从错误中学习，提高学习效率。该研究的未来影响在于，它提供了一种通用的、可扩展的方法，用于持续改进大型语言模型的性能。

📄 摘要（原文）

In-context learning (ICL) has been instrumental in adapting Large Language Models (LLMs) to downstream tasks using correct input-output examples. Recent advances have attempted to improve model performance through principles derived from mistakes, yet these approaches suffer from lack of customization and inadequate error coverage. To address these limitations, we propose Retrieved In-Context Principles (RICP), a novel teacher-student framework. In RICP, the teacher model analyzes mistakes from the student model to generate reasons and insights for preventing similar mistakes. These mistakes are clustered based on their underlying reasons for developing task-level principles, enhancing the error coverage of principles. During inference, the most relevant mistakes for each question are retrieved to create question-level principles, improving the customization of the provided guidance. RICP is orthogonal to existing prompting methods and does not require intervention from the teacher model during inference. Experimental results across seven reasoning benchmarks reveal that RICP effectively enhances performance when applied to various prompting strategies.