Do large language models solve verbal analogies like children do?

📄 arXiv: 2310.20384v1 📥 PDF

作者: Claire E. Stevenson, Mathilde ter Veen, Rochelle Choenni, Han L. J. van der Maas, Ekaterina Shutova

分类: cs.CL, cs.AI

发布日期: 2023-10-31

💡 一句话要点

研究大型语言模型在类比推理中的表现与儿童相似

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 类比推理 大型语言模型 儿童认知 联想学习 自然语言处理

📋 核心要点

  1. 核心问题：现有研究未能充分探讨大型语言模型在类比推理中的表现，尤其是与儿童的比较。
  2. 方法要点：通过分析LLMs在类比推理中的表现，研究其是否采用儿童的联想方式进行解答。
  3. 实验或效果：六种LLMs的表现与儿童相当，但控制联想后表现下降，揭示了联想在类比解答中的重要性。

📝 摘要（中文）

类比推理是人类认知的核心。成年人通过映射关系解决类比题，而儿童则常通过联想进行解答。本文研究了大型语言模型（LLMs）在A:B::C:?形式的类比推理中是否采用类似儿童的联想方式。研究使用了来自在线自适应学习环境的类比题，结果显示六种测试的荷兰语单语和多语LLMs的表现与儿童相当，其中MGPT表现最差，约为7岁儿童水平，而XLM-V和GPT-3表现最佳，略高于11岁儿童水平。然而，当控制联想过程时，各模型的表现水平下降1-2岁。实验表明，联想过程常常是正确解答类比的基础。我们得出结论，所测试的LLMs确实倾向于通过与C的联想来解决类比问题，类似儿童的方式。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型在类比推理中的表现，尤其是它们是否像儿童一样通过联想进行解答。现有方法未能充分揭示LLMs在类比推理中的具体机制和表现差异。

核心思路：研究通过对比LLMs与儿童在类比推理中的表现，分析其解答方式是否依赖于联想。通过控制联想过程，揭示模型的真实能力和局限性。

技术框架：研究使用了来自在线学习环境的622个类比题，涉及14002名7至12岁的儿童。对六种荷兰语LLMs进行评估，比较其解答的准确性与儿童的表现。

关键创新：本研究的创新在于首次系统性地比较LLMs与儿童在类比推理中的表现，揭示了模型在解答过程中依赖联想的程度，提供了新的视角。

关键设计：实验中设置了多种类比题，评估模型的解答准确性，并通过控制联想过程来分析模型的表现，确保实验结果的可靠性。具体的参数设置和损失函数设计未在摘要中详细说明，需查阅原文获取。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，六种LLMs的表现与儿童相当，其中MGPT的表现最差，约为7岁儿童水平，而XLM-V和GPT-3表现最佳，略高于11岁儿童水平。控制联想后，各模型的表现普遍下降1-2岁，表明联想在类比解答中的重要性。

🎯 应用场景

该研究为理解大型语言模型的认知能力提供了新的视角，尤其是在类比推理方面。其结果可应用于教育技术、智能辅导系统等领域，帮助设计更符合儿童认知发展的学习工具。同时，研究结果也为改进LLMs的训练和评估方法提供了理论基础。

📄 摘要（原文）

Analogy-making lies at the heart of human cognition. Adults solve analogies such as \textit{Horse belongs to stable like chicken belongs to ...?} by mapping relations (\textit{kept in}) and answering \textit{chicken coop}. In contrast, children often use association, e.g., answering \textit{egg}. This paper investigates whether large language models (LLMs) solve verbal analogies in A:B::C:? form using associations, similar to what children do. We use verbal analogies extracted from an online adaptive learning environment, where 14,002 7-12 year-olds from the Netherlands solved 622 analogies in Dutch. The six tested Dutch monolingual and multilingual LLMs performed around the same level as children, with MGPT performing worst, around the 7-year-old level, and XLM-V and GPT-3 the best, slightly above the 11-year-old level. However, when we control for associative processes this picture changes and each model's performance level drops 1-2 years. Further experiments demonstrate that associative processes often underlie correctly solved analogies. We conclude that the LLMs we tested indeed tend to solve verbal analogies by association with C like children do.