The Cost of Down-Scaling Language Models: Fact Recall Deteriorates before In-Context Learning
作者: Tian Jin, Nolan Clement, Xin Dong, Vaishnavh Nagarajan, Michael Carbin, Jonathan Ragan-Kelley, Gintare Karolina Dziugaite
分类: cs.CL, cs.AI, cs.LG
发布日期: 2023-10-07
期刊: The Twelfth International Conference on Learning Representations (ICLR), 2024
💡 一句话要点
研究模型规模对语言模型核心能力的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 模型缩放 事实回忆 上下文学习 权重剪枝 密集缩放 核心能力
📋 核心要点
- 现有方法在缩小语言模型规模时，未能有效平衡事实回忆与上下文学习能力的损失。
- 论文提出通过权重剪枝和密集缩放两种方法，系统性地研究模型规模对核心能力的影响。
- 实验结果显示，减少模型规模超过30%会显著降低事实回忆能力，而60-70%的缩减对上下文处理能力影响较小。
📝 摘要（中文）
本文研究了大型语言模型（LLMs）参数规模的变化如何影响其核心能力，特别是事实回忆和上下文学习。通过对比权重剪枝和密集缩放两种方法，发现当模型规模减少超过30%时，事实回忆能力显著下降，而60-70%的规模缩减则在处理上下文信息的能力上保持相对稳定。这一发现表明，模型规模的变化对事实回忆和上下文学习的影响存在本质差异。
🔬 方法详解
问题定义：本文旨在探讨大型语言模型在参数规模缩减时，核心能力（事实回忆与上下文学习）的变化情况。现有方法未能充分揭示不同缩放技术对这些能力的具体影响。
核心思路：通过对比权重剪枝与密集缩放，论文分析了这两种缩放技术对模型能力的不同影响，旨在揭示模型规模与能力之间的关系。
技术框架：研究设计了一系列任务，以区分事实回忆与上下文学习的能力，采用不同规模的模型进行实验，评估其在这两方面的表现。
关键创新：论文的主要创新在于系统性地比较了两种缩放方法对语言模型能力的影响，揭示了事实回忆能力在模型缩减时的敏感性与上下文学习能力的相对稳定性。
关键设计：实验中设置了不同的模型规模，采用标准的评估指标来测量事实回忆与上下文处理能力，确保了实验结果的可靠性与可重复性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当模型规模减少超过30%时，事实回忆能力显著下降，表现出较大的性能损失。而在60-70%的规模缩减下，模型在上下文处理能力上保持了相对稳定，显示出不同能力对模型规模变化的敏感性差异。
🎯 应用场景
该研究为大型语言模型的优化提供了重要参考，尤其是在资源受限的情况下，如何有效地保持模型的核心能力。未来可应用于智能问答系统、对话生成等领域，以提升模型的实用性和效率。
📄 摘要（原文）
How does scaling the number of parameters in large language models (LLMs) affect their core capabilities? We study two natural scaling techniques -- weight pruning and simply training a smaller or larger model, which we refer to as dense scaling -- and their effects on two core capabilities of LLMs: (a) recalling facts presented during pre-training and (b) processing information presented in-context during inference. By curating a suite of tasks that help disentangle these two capabilities, we find a striking difference in how these two abilities evolve due to scaling. Reducing the model size by more than 30\% (via either scaling approach) significantly decreases the ability to recall facts seen in pre-training. Yet, a 60--70\% reduction largely preserves the various ways the model can process in-context information, ranging from retrieving answers from a long context to learning parameterized functions from in-context exemplars. The fact that both dense scaling and weight pruning exhibit this behavior suggests that scaling model size has an inherently disparate effect on fact recall and in-context learning.