Can Large Language Models generalize analogy solving like children can?

📄 arXiv: 2411.02348v3 📥 PDF

作者: Claire E. Stevenson, Alexandra Pafford, Han L. J. van der Maas, Melanie Mitchell

分类: cs.AI, cs.CL, cs.HC

发布日期: 2024-11-04 (更新: 2025-10-06)

备注: Accepted to Transactions of the Association for Computational Linguistics (TACL)

💡 一句话要点

研究表明大型语言模型在类比推理泛化能力上弱于儿童

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 类比推理 泛化能力 迁移学习 认知科学

📋 核心要点

  1. 现有大型语言模型在类比推理方面表现出一定能力，但缺乏人类在不同领域间泛化类比推理的能力。
  2. 本研究通过设计跨领域类比推理任务，对比儿童、成人和大型语言模型在不同领域的表现。
  3. 实验结果表明，儿童和成人能够轻松泛化到新领域，而大型语言模型则表现不佳，揭示了其泛化能力的局限性。

📝 摘要（中文）

类比推理能力，例如“身体：脚::桌子：？”在儿童时期就已出现，并且似乎可以轻松迁移到其他领域，例如视觉领域“( : ) :: < : ?”。最近的研究表明，大型语言模型（LLM）可以解决各种形式的类比问题。然而，LLM是否能像人类一样将类比推理泛化到新的领域？为了研究这个问题，我们让儿童、成人和LLM解决一系列拉丁字母的字符串类比问题（例如，a b : a c :: j k : ?），以及近迁移领域（希腊字母）和远迁移领域（符号列表）。儿童和成人可以轻松地将他们的知识推广到不熟悉的领域，而LLM则不能。人类和AI性能的这种关键差异证明，这些LLM在鲁棒的类人式类比迁移方面仍然存在困难。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）是否具备像人类（尤其是儿童）一样的类比推理泛化能力。现有LLM虽然能在特定领域解决类比问题，但缺乏跨领域迁移和泛化的能力，无法像人类一样灵活地运用类比推理。

核心思路：论文的核心思路是通过设计一系列跨领域的类比推理任务，对比LLM与人类在不同领域的表现，从而评估LLM的类比推理泛化能力。如果LLM能够像人类一样在不同领域表现良好，则说明其具备较强的类比推理泛化能力。

技术框架：研究采用对比实验的方法，选取儿童、成人和LLM作为研究对象。设计了三个领域的类比推理任务：拉丁字母（近迁移）、希腊字母（中等迁移）和符号列表（远迁移）。所有参与者都需要解决相同类型的类比问题，例如“A:B::C:?”，并从给定的选项中选择正确的答案。通过比较不同组别的正确率，评估LLM的类比推理泛化能力。

关键创新：本研究的关键创新在于，它首次系统性地对比了LLM与人类在类比推理泛化能力上的差异。通过设计跨领域的类比推理任务，揭示了LLM在泛化能力上的局限性。与以往研究主要关注LLM在特定领域的类比推理能力不同，本研究更关注LLM的跨领域迁移能力。

关键设计：实验设计的关键在于选择合适的领域和类比问题。拉丁字母、希腊字母和符号列表的选择，保证了任务的难度适中，并且能够有效区分不同组别的表现。类比问题的设计遵循一定的规则，例如保证类比关系的清晰性和唯一性。实验过程中，对所有参与者采用相同的指导语和测试流程，保证了实验的公平性和可比性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，儿童和成人在所有三个领域（拉丁字母、希腊字母和符号列表）都表现出较好的类比推理能力，而LLM在拉丁字母领域表现尚可，但在希腊字母和符号列表领域表现显著下降。这表明LLM在类比推理泛化能力上远不如人类，无法将已有的知识有效地迁移到新的领域。例如，LLM在远迁移领域的准确率明显低于人类。

🎯 应用场景

该研究结果对人工智能的类比推理研究具有重要意义，有助于开发更具通用性和鲁棒性的AI系统。未来的研究可以探索如何提高LLM的类比推理泛化能力，例如通过引入更多的领域知识、设计更有效的训练方法等。此外，该研究也为教育领域提供了启示，有助于更好地理解人类的类比推理能力发展过程。

📄 摘要（原文）

In people, the ability to solve analogies such as "body : feet :: table : ?" emerges in childhood, and appears to transfer easily to other domains, such as the visual domain "( : ) :: < : ?". Recent research shows that large language models (LLMs) can solve various forms of analogies. However, can LLMs generalize analogy solving to new domains like people can? To investigate this, we had children, adults, and LLMs solve a series of letter-string analogies (e.g., a b : a c :: j k : ?) in the Latin alphabet, in a near transfer domain (Greek alphabet), and a far transfer domain (list of symbols). Children and adults easily generalized their knowledge to unfamiliar domains, whereas LLMs did not. This key difference between human and AI performance is evidence that these LLMs still struggle with robust human-like analogical transfer.