Prompt-MII: Meta-Learning Instruction Induction for LLMs

📄 arXiv: 2510.16932v2 📥 PDF

作者: Emily Xiao, Yixiao Zeng, Ada Chen, Chin-Jou Li, Amanda Bertsch, Graham Neubig

分类: cs.CL

发布日期: 2025-10-19 (更新: 2025-10-31)

💡 一句话要点

Prompt-MII：通过元学习指令归纳，提升大语言模型在上下文学习中的效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令归纳 元学习 强化学习 大语言模型 上下文学习

📋 核心要点

  1. 现有上下文学习方法依赖长上下文，导致大语言模型推理成本高昂，效率低下。
  2. PROMPT-MII通过元学习指令归纳模型，将训练样本压缩成简洁指令，提升推理效率。
  3. 实验表明，PROMPT-MII在保证性能的同时，显著减少了token数量，降低了推理成本。

📝 摘要（中文）

本文提出了一种名为PROMPT-MII的方法，旨在解决大语言模型(LLMs)在上下文学习(ICL)中因上下文长度增加而导致的高推理成本问题。PROMPT-MII通过训练样本归纳出简洁且具有描述性的提示，使其性能与使用完整训练集的ICL相当。具体而言，PROMPT-MII是一个基于强化学习(RL)的框架，用于元学习一个指令归纳模型，该模型可以为任意新数据集动态生成简洁的指令。该模型在HuggingFace hub的3000多个不同的分类数据集上进行训练，并在90个未见过的任务上进行评估。实验结果表明，PROMPT-MII将下游模型的F1分数提高了4-9个点（相对提升10-20%），在需要减少3-13倍tokens的情况下，达到了与ICL相当的性能。

🔬 方法详解

问题定义：现有的大语言模型上下文学习（ICL）方法，为了适应新的任务，需要在上下文中包含大量的示例。这导致了推理过程中token数量的显著增加，从而带来了高昂的计算成本和延迟。因此，如何减少ICL所需的token数量，同时保持甚至提升模型性能，是一个重要的研究问题。

核心思路：PROMPT-MII的核心思路是通过元学习的方式，训练一个指令归纳模型。该模型能够接收一个数据集作为输入，并自动生成一个简洁且信息丰富的指令，该指令能够有效地指导大语言模型完成任务。通过这种方式，可以将原本需要在上下文中提供的多个示例压缩成一个指令，从而显著减少token数量。

技术框架：PROMPT-MII的整体框架是一个基于强化学习的元学习流程。它包含以下几个主要模块：1) 指令生成器：负责生成候选指令；2) 评估器：使用大语言模型评估候选指令的性能；3) 奖励函数：根据评估结果计算奖励信号，用于指导指令生成器的训练；4) 策略优化器：使用强化学习算法（例如，REINFORCE）更新指令生成器的参数。整个流程通过迭代的方式，不断优化指令生成器，使其能够生成更有效的指令。

关键创新：PROMPT-MII的关键创新在于它将指令归纳问题建模成一个强化学习问题，并使用元学习的方式进行训练。这使得模型能够自动学习如何为不同的数据集生成最佳指令，而无需人工干预。与传统的prompt工程方法相比，PROMPT-MII具有更高的自动化程度和泛化能力。

关键设计：在具体实现上，指令生成器可以使用Transformer模型，评估器可以使用预训练的大语言模型（例如，GPT-3），奖励函数可以基于下游任务的性能指标（例如，F1分数）进行设计。此外，还可以使用一些技巧来提高训练效率，例如，使用知识蒸馏将大语言模型的知识迁移到指令生成器中。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PROMPT-MII在90个未见过的分类任务上进行了评估，实验结果表明，PROMPT-MII将下游模型的F1分数提高了4-9个点（相对提升10-20%），在需要减少3-13倍tokens的情况下，达到了与ICL相当的性能。这表明PROMPT-MII能够有效地减少推理成本，同时保持甚至提升模型性能。

🎯 应用场景

PROMPT-MII具有广泛的应用前景，可以应用于各种需要快速适应新任务的大语言模型应用场景，例如：智能客服、文本摘要、代码生成等。通过减少推理所需的token数量，PROMPT-MII可以显著降低计算成本，提高响应速度，从而提升用户体验。此外，PROMPT-MII还可以促进大语言模型在资源受限设备上的部署，例如移动设备和嵌入式系统。

📄 摘要（原文）

A popular method to adapt large language models (LLMs) to new tasks is in-context learning (ICL), which is effective but incurs high inference costs as context length grows. In this paper we propose a method to perform instruction induction, where we take training examples and reduce them to a compact but descriptive prompt that can achieve performance comparable to ICL over the full training set. Specifically, we propose PROMPT-MII, a reinforcement learning (RL) based framework to meta-learn an instruction induction model that can generate compact instructions on the fly for an arbitrary new dataset. We train on over 3,000 diverse classification datasets from the HuggingFace hub, and evaluate on 90 unseen tasks. PROMPT-MII improves downstream model quality by 4-9 F1 points (10-20% relative), matching ICL performance while requiring 3-13x fewer tokens.