Past Meets Present: Creating Historical Analogy with Large Language Models

📄 arXiv: 2409.14820v2 📥 PDF

作者: Nianqi Li, Siyu Yuan, Jiangjie Chen, Jiaqing Liang, Feng Wei, Zujie Liang, Deqing Yang, Yanghua Xiao

分类: cs.CL, cs.AI

发布日期: 2024-09-23 (更新: 2025-07-30)

备注: Accepted to ACL 2025 (Outstanding Paper Award)

💡 一句话要点

提出基于大语言模型的历史类比方法，并引入自反思机制缓解幻觉与刻板印象

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 历史类比 大型语言模型 自反思 知识推理 事件检索

📋 核心要点

  1. 现有方法难以找到合适的历史类比，且AI领域对历史类比的研究不足。
  2. 利用大语言模型进行历史类比的检索和生成，并提出自反思方法缓解幻觉和刻板印象。
  3. 实验表明大语言模型在历史类比方面具有潜力，自反思方法能有效提升模型性能。

📝 摘要（中文）

历史类比是将已知的过去事件与当代但不熟悉的事件进行比较，这是一种帮助人们做出决策和理解世界的重要能力。然而，应用历史研究表明，人们很难找到合适的类比。人工智能领域之前的研究也忽略了历史类比。为了填补这一空白，本文重点关注历史类比获取任务，该任务旨在为给定的事件获取类似的 historical events。我们探索了基于不同大型语言模型（LLM）的检索和生成方法来获取历史类比。此外，我们提出了一种自反思方法，以减轻LLM生成历史类比时的幻觉和刻板印象。通过人工评估和我们专门设计的自动多维评估，我们发现LLM通常具有良好的历史类比潜力。并且通过使用我们的自反思方法可以进一步提高模型的性能。

🔬 方法详解

问题定义：论文旨在解决历史类比获取的问题，即为给定的事件找到合适的历史事件作为类比。现有方法的痛点在于难以找到高质量的历史类比，并且容易受到主观性和认知偏差的影响。此外，现有AI方法对历史类比的关注度不足。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的知识和推理能力来生成或检索历史类比。通过prompting LLMs，使其能够理解当前事件并联想到相似的历史事件。此外，为了解决LLMs可能产生的幻觉和刻板印象问题，引入了自反思机制，让模型能够自我评估和修正生成的类比。

技术框架：整体框架包含两个主要部分：基于LLM的检索和基于LLM的生成。检索方法首先使用LLM对当前事件进行编码，然后在历史事件数据库中检索相似的事件。生成方法则直接使用LLM生成与当前事件相似的历史事件。自反思模块则在生成之后，对生成的历史类比进行评估，并根据评估结果进行修正。

关键创新：论文的关键创新在于将大型语言模型应用于历史类比获取任务，并提出了自反思机制来提高生成类比的质量。与传统的基于规则或统计的方法相比，LLMs能够更好地理解事件的语义信息，并生成更具创造性和洞察力的类比。自反思机制则能够有效地减少LLMs的幻觉和刻板印象问题。

关键设计：自反思模块的设计是关键。具体来说，该模块使用LLM对生成的历史类比进行多方面的评估，例如相关性、准确性和新颖性。然后，根据评估结果，使用LLM对生成的类比进行修改，以提高其质量。具体的prompt设计和评估指标的选择对自反思模块的性能至关重要。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，基于LLM的方法在历史类比获取任务上表现良好。通过人工评估和自动多维评估，证明了LLM具有良好的历史类比潜力。此外，自反思方法能够显著提高生成类比的质量，减少幻觉和刻板印象。具体性能提升数据在论文中进行了详细展示。

🎯 应用场景

该研究成果可应用于决策支持系统、教育领域和文化交流等领域。在决策支持方面，历史类比可以帮助决策者更好地理解当前形势，并从历史经验中吸取教训。在教育领域，历史类比可以帮助学生更好地理解历史事件，并培养批判性思维能力。在文化交流方面，历史类比可以促进不同文化之间的理解和沟通。

📄 摘要（原文）

Historical analogies, which compare known past events with contemporary but unfamiliar events, are important abilities that help people make decisions and understand the world. However, research in applied history suggests that people have difficulty finding appropriate analogies. And previous studies in the AI community have also overlooked historical analogies. To fill this gap, in this paper, we focus on the historical analogy acquisition task, which aims to acquire analogous historical events for a given event. We explore retrieval and generation methods for acquiring historical analogies based on different large language models (LLMs). Furthermore, we propose a self-reflection method to mitigate hallucinations and stereotypes when LLMs generate historical analogies. Through human evaluations and our specially designed automatic multi-dimensional assessment, we find that LLMs generally have a good potential for historical analogies. And the performance of the models can be further improved by using our self-reflection method.