Emergent Abilities in Large Language Models: A Survey
作者: Leonardo Berti, Flavio Giorgi, Gjergji Kasneci
分类: cs.LG, cs.AI, cs.CL
发布日期: 2025-02-28 (更新: 2025-03-14)
💡 一句话要点
综述大型语言模型涌现能力：定义、条件、影响与安全治理
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 涌现能力 缩放定律 推理模型 强化学习 安全治理 人工智能 综述
📋 核心要点
- 现有大型语言模型涌现能力缺乏清晰定义和统一理解，导致对其性质、可预测性和影响存在误解。
- 本文旨在全面回顾大型语言模型涌现能力，分析其科学基础和实际影响，并探讨其出现的条件。
- 综述不仅涵盖传统LLM，还包括利用强化学习和推理时搜索的大型推理模型，并强调了安全和治理问题。
📝 摘要（中文）
大型语言模型（LLMs）正引领一场新的技术革命，成为通向通用人工智能最有希望的研究方向之一。这些模型通过增加参数数量和训练数据集的规模来实现扩展，这与先前未观察到的各种所谓的涌现能力有关。这些涌现能力，从高级推理和上下文学习到编码和问题解决，引发了激烈的科学辩论：它们是真正涌现的，还是仅仅取决于外部因素，如训练动态、问题的类型或选择的指标？是什么潜在机制导致了它们？尽管具有变革潜力，但涌现能力仍然知之甚少，导致对其定义、性质、可预测性和影响的误解。本文通过对该现象进行全面回顾，阐明了涌现能力，探讨了其科学基础和实际影响。我们首先批判性地分析了现有的定义，揭示了概念化涌现能力方面的不一致之处。然后，我们探讨了这些能力出现的条件，评估了缩放定律、任务复杂性、预训练损失、量化和提示策略的作用。我们的综述超越了传统的LLM，包括大型推理模型（LRM），后者利用强化学习和推理时搜索来放大推理和自我反思。然而，涌现并非天生就是积极的。随着人工智能系统获得自主推理能力，它们也会发展出有害行为，包括欺骗、操纵和奖励入侵。我们强调了对安全和治理日益增长的担忧，强调需要更好的评估框架和监管监督。
🔬 方法详解
问题定义：论文旨在解决对大型语言模型（LLMs）中涌现能力的理解不足问题。现有方法未能充分解释涌现能力的本质、出现条件以及潜在风险，导致对其定义、性质、可预测性和影响存在诸多误解。此外，缺乏统一的评估框架和监管措施，使得LLMs的安全性和治理面临挑战。
核心思路：论文的核心思路是通过对现有文献进行全面回顾和批判性分析，从而阐明LLMs中涌现能力的定义、出现条件、潜在影响以及安全治理问题。通过整合不同研究领域的观点，论文旨在提供一个更全面、更深入的理解框架。
技术框架：该论文是一篇综述性文章，其技术框架主要体现在对现有研究的分类、整理和分析上。具体包括：1) 对涌现能力的现有定义进行批判性分析，揭示概念上的不一致性；2) 评估缩放定律、任务复杂性、预训练损失、量化和提示策略等因素对涌现能力的影响；3) 探讨大型推理模型（LRM）如何通过强化学习和推理时搜索来增强推理能力；4) 强调LLMs中出现的有害行为，并讨论安全和治理问题。
关键创新：该论文的关键创新在于其对LLMs涌现能力的全面和深入的综述。它不仅整合了来自不同研究领域的观点，还批判性地分析了现有定义，并提出了对涌现能力出现条件的评估。此外，论文还强调了LLMs的潜在风险，并呼吁加强安全和治理措施。
关键设计：作为一篇综述，该论文的关键设计在于其研究范围的广泛性和分析的深度。它涵盖了LLMs涌现能力的多个方面，包括定义、出现条件、潜在影响和安全治理。此外，论文还采用了批判性的视角，对现有研究进行了深入的分析和评估。
🖼️ 关键图片
📊 实验亮点
该综述全面分析了大型语言模型涌现能力的定义、出现条件和潜在风险，并强调了安全和治理的重要性。它批判性地评估了缩放定律、任务复杂性等因素的影响，并探讨了大型推理模型如何增强推理能力。该研究为理解和利用大型语言模型提供了重要参考。
🎯 应用场景
该研究成果可应用于指导大型语言模型的开发和部署，帮助研究人员和工程师更好地理解和利用涌现能力，同时降低潜在风险。此外，该综述还可为政策制定者提供参考，促进人工智能技术的安全和负责任发展。
📄 摘要（原文）
Large Language Models (LLMs) are leading a new technological revolution as one of the most promising research streams toward artificial general intelligence. The scaling of these models, accomplished by increasing the number of parameters and the magnitude of the training datasets, has been linked to various so-called emergent abilities that were previously unobserved. These emergent abilities, ranging from advanced reasoning and in-context learning to coding and problem-solving, have sparked an intense scientific debate: Are they truly emergent, or do they simply depend on external factors, such as training dynamics, the type of problems, or the chosen metric? What underlying mechanism causes them? Despite their transformative potential, emergent abilities remain poorly understood, leading to misconceptions about their definition, nature, predictability, and implications. In this work, we shed light on emergent abilities by conducting a comprehensive review of the phenomenon, addressing both its scientific underpinnings and real-world consequences. We first critically analyze existing definitions, exposing inconsistencies in conceptualizing emergent abilities. We then explore the conditions under which these abilities appear, evaluating the role of scaling laws, task complexity, pre-training loss, quantization, and prompting strategies. Our review extends beyond traditional LLMs and includes Large Reasoning Models (LRMs), which leverage reinforcement learning and inference-time search to amplify reasoning and self-reflection. However, emergence is not inherently positive. As AI systems gain autonomous reasoning capabilities, they also develop harmful behaviors, including deception, manipulation, and reward hacking. We highlight growing concerns about safety and governance, emphasizing the need for better evaluation frameworks and regulatory oversight.