StoryAnalogy: Deriving Story-level Analogies from Large Language Models to Unlock Analogical Understanding

📄 arXiv: 2310.12874v2 📥 PDF

作者: Cheng Jiayang, Lin Qiu, Tsz Ho Chan, Tianqing Fang, Weiqi Wang, Chunkit Chan, Dongyu Ru, Qipeng Guo, Hongming Zhang, Yangqiu Song, Yue Zhang, Zheng Zhang

分类: cs.CL

发布日期: 2023-10-19 (更新: 2023-10-23)

备注: Accepted by EMNLP 2023 main conference

💡 一句话要点

构建StoryAnalogy以提升故事类类比理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 类比推理 故事理解 大型语言模型 结构映射理论 数据集构建 模型评估 自然语言处理

📋 核心要点

  1. 现有的类比推理方法在故事级别的识别和生成上存在显著挑战，尤其是大型语言模型的表现不尽如人意。
  2. 本文提出了StoryAnalogy语料库，包含24K个故事对，旨在通过结构映射理论进行类比推理的评估与提升。
  3. 实验结果表明，StoryAnalogy不仅揭示了大型语言模型在类比识别中的局限性，还能有效提升其类比生成能力。

📝 摘要（中文）

类比推理在叙事理解中至关重要。本文构建了首个大规模故事级类比语料库StoryAnalogy，包含来自不同领域的24K对故事，基于扩展结构映射理论进行了人工标注。我们设计了一系列测试，对故事级类比的识别和生成进行了首次评估。结果显示，类比识别任务对句子嵌入模型和大型语言模型（如ChatGPT和LLaMa）都极具挑战性，ChatGPT在多项选择题中的准确率仅为30%，而人类超过85%。此外，StoryAnalogy数据集能够提升大型语言模型的类比生成质量，经过微调的FlanT5-xxl模型在性能上与零-shot的ChatGPT相当。

🔬 方法详解

问题定义：本文旨在解决故事级类比推理的识别与生成问题，现有方法在此领域表现不佳，尤其是大型语言模型的准确性远低于人类。

核心思路：通过构建一个大规模的故事级类比语料库StoryAnalogy，提供丰富的标注数据，以支持类比推理的研究和模型训练。

技术框架：整体架构包括数据收集、标注、模型训练和评估四个主要阶段。首先收集多领域故事对，然后进行人工标注，最后使用这些数据训练和评估类比生成模型。

关键创新：最大的创新在于构建了一个大规模的故事级类比语料库，并进行了系统的评估，填补了该领域的研究空白。

关键设计：在数据标注中，采用了扩展结构映射理论的相似性标准，确保标注的准确性和一致性。模型训练时，FlanT5-xxl的微调策略也经过精心设计，以优化类比生成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ChatGPT在类比识别任务中的准确率仅为30%，而人类的准确率超过85%。经过微调的FlanT5-xxl模型在类比生成任务中表现出与零-shot ChatGPT相当的性能，显示出StoryAnalogy数据集的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、创意写作和人工智能助手等。通过提升故事类比理解能力，可以帮助学生更好地理解文学作品，增强创意写作的灵感，同时为AI助手提供更人性化的交互体验，推动智能系统在叙事理解方面的进步。

📄 摘要（原文）

Analogy-making between narratives is crucial for human reasoning. In this paper, we evaluate the ability to identify and generate analogies by constructing a first-of-its-kind large-scale story-level analogy corpus, \textsc{StoryAnalogy}, which contains 24K story pairs from diverse domains with human annotations on two similarities from the extended Structure-Mapping Theory. We design a set of tests on \textsc{StoryAnalogy}, presenting the first evaluation of story-level analogy identification and generation. Interestingly, we find that the analogy identification tasks are incredibly difficult not only for sentence embedding models but also for the recent large language models (LLMs) such as ChatGPT and LLaMa. ChatGPT, for example, only achieved around 30% accuracy in multiple-choice questions (compared to over 85% accuracy for humans). Furthermore, we observe that the data in \textsc{StoryAnalogy} can improve the quality of analogy generation in LLMs, where a fine-tuned FlanT5-xxl model achieves comparable performance to zero-shot ChatGPT.