Rapid Word Learning Through Meta In-Context Learning
作者: Wentao Wang, Guangyuan Jiang, Tal Linzen, Brenden M. Lake
分类: cs.CL, cs.AI, cs.LG
发布日期: 2025-02-20 (更新: 2025-09-04)
备注: EMNLP 2025
💡 一句话要点
提出Minnow元学习框架，提升语言模型在少量样本下的快速单词学习能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 元学习 少样本学习 单词学习 语言模型 上下文学习
📋 核心要点
- 现有语言模型在少样本单词学习能力不足，难以像人类一样快速掌握新词汇并在不同语境中使用。
- Minnow方法通过元学习，训练模型根据少量上下文示例生成新单词的用法，从而提升单词学习能力。
- 实验表明，Minnow训练的模型在少样本单词学习上可与大数据预训练的LLM媲美，且能有效提升LLM的单词学习能力。
📝 摘要（中文）
人类可以通过少量示例快速学习新单词，并在新的语境中灵活运用。然而，当前语言模型在少样本单词学习方面的能力以及提升这些能力的方法尚未得到充分探索。本研究提出了一种新方法，即用于单词上下文学习的元训练（Minnow）。该方法训练语言模型，使其能够根据少量的上下文示例生成新单词的用法示例，使用特殊的占位符token来表示新单词。这种训练在许多新单词上重复进行，以发展通用的单词学习能力。研究发现，使用Minnow在人类规模的儿童导向语言上从头开始训练模型，能够实现强大的少样本单词学习，与在更多数量级数据上预训练的大型语言模型（LLM）相当。此外，通过判别式和生成式评估，证明了使用Minnow微调预训练的LLM可以提高它们区分新单词、识别新单词的句法类别以及基于一个或几个上下文示例生成合理的新用法和定义的能力。这些发现突出了Minnow的数据效率及其在单词学习任务中提高语言模型性能的潜力。
🔬 方法详解
问题定义：论文旨在解决语言模型在少样本情况下快速学习新单词的难题。现有方法，特别是依赖大规模预训练的语言模型，虽然在很多NLP任务上表现出色，但在面对全新的、未见过的单词时，往往需要大量的样本才能有效学习。这与人类能够通过少量示例快速掌握新词汇的能力形成鲜明对比。因此，如何提高语言模型在少样本条件下的单词学习能力是本研究要解决的核心问题。
核心思路：论文的核心思路是利用元学习（Meta-Learning）的思想，训练模型具备“学习如何学习”的能力。具体来说，就是让模型在大量不同的新单词学习任务上进行训练，使其能够快速适应新的单词学习场景。通过这种方式，模型可以学习到一些通用的单词学习策略，从而在面对新的单词时，能够仅凭少量示例就能有效地理解和使用。
技术框架：Minnow方法的技术框架主要包含以下几个阶段：1) 数据准备：构建包含大量新单词及其用法的训练数据集，这些数据模拟了人类学习新单词的场景。2) 模型训练：使用元学习的方式训练语言模型。在每个训练迭代中，模型会随机选择一个新单词，并提供少量该单词的用法示例作为上下文。模型的目标是根据这些上下文示例，生成更多该单词的用法示例。3) 模型评估：使用判别式和生成式评估方法，评估模型在少样本单词学习任务上的性能。判别式评估主要考察模型区分新单词的能力，生成式评估主要考察模型生成新单词用法的能力。
关键创新：Minnow方法的关键创新在于将元学习应用于少样本单词学习任务，并设计了一种有效的训练策略。与传统的预训练+微调方法相比，Minnow方法更加注重模型的泛化能力，使其能够快速适应新的单词学习场景。此外，Minnow方法还引入了特殊的占位符token来表示新单词，这使得模型能够更加灵活地处理不同的单词学习任务。
关键设计：在模型训练过程中，论文使用了Transformer架构的语言模型作为基础模型。损失函数方面，使用了标准的交叉熵损失函数，用于衡量模型生成单词用法示例的准确性。为了提高模型的泛化能力，论文还使用了数据增强技术，例如随机替换单词、随机插入单词等。此外，论文还对模型的超参数进行了精细的调整，例如学习率、batch size等，以获得最佳的训练效果。
🖼️ 关键图片
📊 实验亮点
Minnow方法在少样本单词学习任务上取得了显著的成果。在人类规模的儿童导向语言上从头开始训练的模型，其性能可与在大规模数据上预训练的LLM相媲美。此外，使用Minnow微调预训练的LLM，可以显著提高其区分新单词、识别新单词句法类别以及生成新单词用法的能力。例如，在生成式评估中，Minnow微调后的LLM生成的单词用法示例更加合理、更加符合人类的语言习惯。
🎯 应用场景
该研究成果可应用于智能教育、机器翻译、人机对话等领域。例如，在智能教育中，可以利用该技术帮助儿童或外语学习者快速掌握新词汇。在机器翻译中，可以提高翻译系统处理生僻词或新词的能力。在人机对话中，可以使对话系统更好地理解用户的意图，并生成更自然、更流畅的回复。
📄 摘要（原文）
Humans can quickly learn a new word from a few illustrative examples, and then systematically and flexibly use it in novel contexts. Yet the abilities of current language models for few-shot word learning, and methods for improving these abilities, are underexplored. In this study, we introduce a novel method, Meta-training for IN-context learNing Of Words (Minnow). This method trains language models to generate new examples of a word's usage given a few in-context examples, using a special placeholder token to represent the new word. This training is repeated on many new words to develop a general word-learning ability. We find that training models from scratch with Minnow on human-scale child-directed language enables strong few-shot word learning, comparable to a large language model (LLM) pre-trained on orders of magnitude more data. Furthermore, through discriminative and generative evaluations, we demonstrate that finetuning pre-trained LLMs with Minnow improves their ability to discriminate between new words, identify syntactic categories of new words, and generate reasonable new usages and definitions for new words, based on one or a few in-context examples. These findings highlight the data efficiency of Minnow and its potential to improve language model performance in word learning tasks.