Why Larger Language Models Do In-context Learning Differently?
作者: Zhenmei Shi, Junyi Wei, Zhuoyan Xu, Yingyu Liang
分类: cs.LG, cs.AI, cs.CL
发布日期: 2024-05-30
💡 一句话要点
理论分析揭示大语言模型上下文学习差异：模型规模影响噪声敏感性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 上下文学习 大语言模型 噪声敏感性 Transformer 理论分析
📋 核心要点
- 现有研究表明，大语言模型在上下文学习中表现出对噪声的敏感性，但缺乏对其根本原因的深入理解。
- 该论文通过理论分析，揭示了模型规模与噪声敏感性之间的关系，发现较小模型更关注重要特征，而较大模型则覆盖更多特征。
- 通过在线性回归和奇偶校验分类任务上的实验，验证了理论分析的有效性，并为理解Transformer的注意力机制提供了新的视角。
📝 摘要（中文）
大型语言模型（LLM）已成为人工智能的强大工具，其关键能力在于上下文学习（ICL），即它们可以在一系列简短的任务示例的基础上，在无需调整模型参数的情况下，在新任务上表现良好。最近一个有趣的神秘观察是，不同规模的模型可能具有不同的ICL行为：较大的模型往往对测试上下文中的噪声更敏感。这项工作从理论上研究了这一观察结果，旨在提高对LLM和ICL的理解。我们分析了两种程式化的设置：（1）具有单层单头线性Transformer的线性回归；（2）具有两层多头注意力Transformer的奇偶校验分类（非线性数据和非线性模型）。在这两种设置中，我们给出了闭式最优解，并发现较小的模型强调重要的隐藏特征，而较大的模型覆盖更多的隐藏特征；因此，较小的模型对噪声更鲁棒，而较大的模型更容易分心，从而导致不同的ICL行为。这揭示了Transformer关注的位置以及这如何影响ICL。对大型基础模型和聊天模型的初步实验结果为我们的分析提供了积极的支持。
🔬 方法详解
问题定义：现有的大型语言模型在上下文学习（ICL）中表现出对噪声的敏感性，即在测试上下文中引入噪声示例会显著降低模型的性能。这种现象在不同规模的模型中表现不同，大型模型似乎更容易受到噪声的影响。现有的研究缺乏对这种差异的理论解释，无法指导如何设计更鲁棒的ICL方法。
核心思路：该论文的核心思路是通过对简化模型的理论分析，揭示模型规模与噪声敏感性之间的关系。具体而言，论文假设较小的模型倾向于关注更重要的隐藏特征，而较大的模型则会覆盖更多的隐藏特征，从而导致对噪声的不同反应。这种差异源于模型容量的不同，容量较小的模型被迫选择性地关注信息，而容量较大的模型则可以容纳更多的信息，包括噪声。
技术框架：论文采用了两种程式化的设置进行分析：（1）线性回归，使用单层单头线性Transformer；（2）奇偶校验分类，使用两层多头注意力Transformer。对于这两种设置，论文推导出了闭式最优解，并分析了模型参数与输入特征之间的关系。通过比较不同规模模型的解，论文揭示了模型对不同特征的关注程度的差异。
关键创新：该论文最重要的技术创新在于，它从理论上解释了大型语言模型在上下文学习中对噪声敏感性的差异。通过对简化模型的分析，论文揭示了模型规模与特征选择之间的关系，并提出了“较小模型关注重要特征，较大模型覆盖更多特征”的假设。这种解释为理解Transformer的注意力机制和设计更鲁棒的ICL方法提供了新的视角。
关键设计：在线性回归设置中，论文使用了单层单头线性Transformer，并假设输入数据是线性可分的。在奇偶校验分类设置中，论文使用了两层多头注意力Transformer，并假设输入数据是非线性的。论文通过推导闭式最优解，分析了模型参数与输入特征之间的关系。关键的参数设置包括模型的规模（例如，隐藏层的大小）和学习率。损失函数采用了均方误差损失（线性回归）和交叉熵损失（奇偶校验分类）。
🖼️ 关键图片
📊 实验亮点
论文通过理论分析和实验验证，揭示了大型语言模型在上下文学习中对噪声敏感性的差异。在线性回归和奇偶校验分类任务上，实验结果表明，较小的模型对噪声更鲁棒，而较大的模型更容易受到噪声的影响。此外，初步实验结果在大型基础模型和聊天模型上为理论分析提供了积极的支持。
🎯 应用场景
该研究成果有助于理解大型语言模型在上下文学习中的行为，并指导如何设计更鲁棒的ICL方法。潜在的应用领域包括自然语言处理、计算机视觉和机器人等。通过降低模型对噪声的敏感性，可以提高模型在实际应用中的可靠性和泛化能力，从而促进人工智能技术的更广泛应用。
📄 摘要（原文）
Large language models (LLM) have emerged as a powerful tool for AI, with the key ability of in-context learning (ICL), where they can perform well on unseen tasks based on a brief series of task examples without necessitating any adjustments to the model parameters. One recent interesting mysterious observation is that models of different scales may have different ICL behaviors: larger models tend to be more sensitive to noise in the test context. This work studies this observation theoretically aiming to improve the understanding of LLM and ICL. We analyze two stylized settings: (1) linear regression with one-layer single-head linear transformers and (2) parity classification with two-layer multiple attention heads transformers (non-linear data and non-linear model). In both settings, we give closed-form optimal solutions and find that smaller models emphasize important hidden features while larger ones cover more hidden features; thus, smaller models are more robust to noise while larger ones are more easily distracted, leading to different ICL behaviors. This sheds light on where transformers pay attention to and how that affects ICL. Preliminary experimental results on large base and chat models provide positive support for our analysis.