Sub-SA: Strengthen In-context Learning via Submodular Selective Annotation

📄 arXiv: 2407.05693v2 📥 PDF

作者: Jian Qian, Miao Sun, Sifan Zhou, Ziyu Zhao, Ruizhi Hun, Patrick Chiang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-07-08 (更新: 2024-09-13)

备注: Accepted by ECAI 2024

💡 一句话要点

提出Sub-SA，通过子模选择性标注提升上下文学习效果并降低标注成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 选择性标注 子模函数 奖励和惩罚正则化 prompt选择

📋 核心要点

  1. 上下文学习依赖于高质量的prompt，但从大量已标注数据中选择合适的prompt需要高昂的标注成本。
  2. Sub-SA通过设计子模函数，并结合奖励和惩罚正则化（RPR），在多样性和代表性之间取得平衡，从而降低标注成本。
  3. 该方法利用贪婪搜索算法进行高效的标注选择，并结合相似性检索，最终提升上下文学习的性能。

📝 摘要（中文）

本文提出了一种基于子模的选择性标注方法Sub-SA，旨在降低上下文学习（ICL）中prompt选择的标注成本，同时提高上下文示例的质量，并最小化选择过程的时间消耗。Sub-SA设计了一个子模函数，该函数有助于有效选择用于标注的子集，并从理论角度证明了其单调性和子模性。具体而言，我们提出了RPR（奖励和惩罚正则化），通过奖励项和惩罚项更好地平衡未标注数据集的多样性和代表性。因此，基于子模函数，可以通过简单而有效的贪婪搜索算法有效地解决标注选择问题。最后，我们应用相似性prompt检索来获取ICL的示例。

🔬 方法详解

问题定义：上下文学习（ICL）依赖于prompt示例的质量，而从大量数据集中选择合适的prompt需要大量的标注工作。现有的方法通常需要人工标注大量数据，或者采用启发式方法选择prompt，但这些方法要么成本高昂，要么效果不佳，难以在标注成本和性能之间取得平衡。

核心思路：Sub-SA的核心思路是利用子模函数来指导选择性标注，从而在降低标注成本的同时，保证prompt的多样性和代表性。子模函数能够捕捉到集合的边际收益递减特性，即向一个集合中添加元素所带来的收益会随着集合的增大而减小。通过最大化子模函数，可以选择出一个既具有代表性又具有多样性的prompt集合，从而提升ICL的性能。

技术框架：Sub-SA主要包含以下几个阶段：1) 子模函数设计：设计一个能够衡量prompt集合质量的子模函数，该函数包含奖励项和惩罚项，分别用于衡量集合的代表性和多样性。2) 奖励和惩罚正则化（RPR）：通过RPR来平衡未标注数据集的多样性和代表性。奖励项鼓励选择具有代表性的prompt，惩罚项则鼓励选择具有多样性的prompt。3) 贪婪搜索算法：使用贪婪搜索算法来最大化子模函数，从而选择出用于标注的prompt集合。4) 相似性prompt检索：利用相似性检索方法，从已标注的prompt集合中选择与输入最相似的prompt，用于ICL。

关键创新：Sub-SA的关键创新在于提出了基于子模函数的选择性标注方法，并设计了RPR来平衡prompt的多样性和代表性。与传统的随机选择或启发式选择方法相比，Sub-SA能够更有效地选择出高质量的prompt，从而提升ICL的性能。此外，Sub-SA还从理论上证明了所设计的子模函数的单调性和子模性。

关键设计：子模函数的设计是Sub-SA的关键。奖励项通常基于prompt与未标注数据集之间的相似度来计算，例如可以使用余弦相似度或高斯核函数。惩罚项则用于衡量prompt集合的多样性，例如可以使用prompt之间的平均距离或最大距离。RPR的具体形式可以根据具体的任务进行调整，例如可以调整奖励项和惩罚项的权重，或者使用不同的正则化方法。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文提出了Sub-SA方法，通过子模选择性标注，能够在降低标注成本的同时提升上下文学习的效果。具体的实验结果未知，但根据论文描述，该方法旨在平衡prompt的多样性和代表性，从而优于传统的随机选择或启发式选择方法。未来的实验结果将进一步验证Sub-SA的有效性。

🎯 应用场景

Sub-SA可应用于各种需要上下文学习的自然语言处理任务，例如文本分类、问答系统、机器翻译等。通过降低标注成本和提高prompt质量，Sub-SA能够帮助研究人员和开发者更高效地构建和部署基于ICL的NLP应用。该方法尤其适用于标注资源有限的场景。

📄 摘要（原文）

In-context learning (ICL) leverages in-context examples as prompts for the predictions of Large Language Models (LLMs). These prompts play a crucial role in achieving strong performance. However, the selection of suitable prompts from a large pool of labeled examples often entails significant annotation costs. To address this challenge, we propose Sub-SA (Submodular Selective Annotation), a submodule-based selective annotation method. The aim of Sub-SA is to reduce annotation costs while improving the quality of in-context examples and minimizing the time consumption of the selection process. In Sub-SA, we design a submodular function that facilitates effective subset selection for annotation and demonstrates the characteristics of monotonically and submodularity from the theoretical perspective. Specifically, we propose RPR (Reward and Penalty Regularization) to better balance the diversity and representativeness of the unlabeled dataset attributed to a reward term and a penalty term, respectively. Consequently, the selection for annotations can be effectively addressed with a simple yet effective greedy search algorithm based on the submodular function. Finally, we apply the similarity prompt retrieval to get the examples for ICL.