From prosthetic memory to prosthetic denial: Auditing whether large language models are prone to mass atrocity denialism

📄 arXiv: 2505.21753v1 📥 PDF

作者: Roberto Ulloa, Eve M. Zucker, Daniel Bultmann, David J. Simon, Mykola Makhortykh

分类: cs.CY, cs.CL

发布日期: 2025-05-27

💡 一句话要点

审核大型语言模型对大规模暴行否认的倾向，揭示其潜在的“人造否认”风险。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 历史记忆 否认主义 人造记忆 伦理风险

📋 核心要点

  1. 现有方法难以保证LLM在处理历史事件时，避免受到训练数据偏差和否认主义叙事的影响，从而可能扭曲或抹除历史记忆。
  2. 本研究通过对多个LLM在不同历史事件上的表现进行审计，评估其对否认主义的倾向，并分析其潜在风险。
  3. 实验结果表明，LLM在处理不同历史事件时表现出差异，对代表性不足的事件更易受到否认主义框架的影响，突出了数据可用性和模型概率性的影响。

📝 摘要（中文）

大型语言模型（LLMs）的普及会影响历史叙事的传播和认知。本研究探讨了LLMs的回答对大规模暴行记忆表征的影响，检验生成式AI系统是否促成了“人造记忆”（即对历史事件的媒介化体验），或者促成了我们称之为的“人造否认”（即AI媒介化的暴行记忆的抹除或扭曲）。我们认为，LLMs作为接口，可以引发人造记忆，因此可以作为记忆传递的体验场所，但也引入了否认主义的风险，特别是当它们的输出与有争议的或修正主义的叙事相一致时。为了实证评估这些风险，我们对五个LLMs（Claude、GPT、Llama、Mixtral和Gemini）在四个历史案例中进行了比较审计：乌克兰大饥荒、大屠杀、柬埔寨种族灭绝和卢旺达对图西族的种族灭绝。每个模型都用英语和与每个案例相关的另一种语言（乌克兰语、德语、高棉语和法语）提出了针对常见否认主义主张的问题。我们的研究结果表明，虽然LLMs通常对像大屠杀这样被广泛记录的事件产生准确的回答，但在代表性不足的案例（如柬埔寨种族灭绝）中，观察到显著的不一致性和对否认主义框架的敏感性。这些差异突出了训练数据可用性和LLM响应的概率性质对记忆完整性的影响。我们得出结论，虽然LLMs扩展了人造记忆的概念，但它们不受约束的使用可能会加强历史否认主义，从而引发对（数字）记忆保存的伦理担忧，并可能挑战与人造记忆的原始价值相关的技术的有利作用。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在处理大规模暴行历史事件时，可能存在的否认主义倾向问题。现有方法缺乏对LLMs在历史记忆表征方面的系统性评估，无法有效识别和缓解其潜在的“人造否认”风险。LLMs的训练数据可能存在偏差，导致其输出与有争议或修正主义的叙事相一致，从而扭曲或抹除历史记忆。

核心思路：论文的核心思路是通过对多个LLMs在不同历史事件上的表现进行比较审计，评估其对否认主义的倾向。通过设计针对常见否认主义主张的提示，并使用多种语言进行测试，分析LLMs的回答是否准确、一致，以及是否容易受到否认主义框架的影响。这种方法旨在揭示LLMs在历史记忆表征方面的潜在风险，并为未来的研究和应用提供指导。

技术框架：该研究的技术框架主要包括以下几个阶段： 1. 案例选择：选择四个具有代表性的大规模暴行历史事件：乌克兰大饥荒、大屠杀、柬埔寨种族灭绝和卢旺达对图西族的种族灭绝。 2. 模型选择：选择五个主流的LLMs：Claude、GPT、Llama、Mixtral和Gemini。 3. 提示设计：设计针对每个历史事件的常见否认主义主张的问题，并使用英语和与每个案例相关的另一种语言（乌克兰语、德语、高棉语和法语）进行提问。 4. 结果分析：分析LLMs的回答，评估其准确性、一致性，以及是否容易受到否认主义框架的影响。

关键创新：该研究的关键创新在于提出了“人造否认”的概念，并将其定义为AI媒介化的暴行记忆的抹除或扭曲。通过实证研究，揭示了LLMs在历史记忆表征方面的潜在风险，并强调了训练数据可用性和模型概率性对记忆完整性的影响。此外，该研究还提出了对（数字）记忆保存的伦理担忧，并挑战了与人造记忆的原始价值相关的技术的有利作用。

关键设计：该研究的关键设计包括： 1. 多语言提示：使用英语和与每个案例相关的另一种语言进行提问，以评估LLMs在不同语言环境下的表现。 2. 否认主义主张：针对每个历史事件的常见否认主义主张设计问题，以评估LLMs对否认主义框架的敏感性。 3. 比较审计：对多个LLMs在不同历史事件上的表现进行比较审计，以揭示其在历史记忆表征方面的差异。

📊 实验亮点

研究发现，LLMs在处理不同历史事件时表现出显著差异。对于像大屠杀这样被广泛记录的事件，LLMs通常能给出准确的回答。然而，对于像柬埔寨种族灭绝这样代表性不足的事件，LLMs更容易受到否认主义框架的影响，表现出不一致性和敏感性。这表明训练数据可用性和LLM响应的概率性质对记忆完整性有重要影响。

🎯 应用场景

该研究成果可应用于开发更可靠、公正的历史信息传播系统，帮助教育工作者、研究人员和政策制定者更好地理解和应对AI技术在历史记忆表征方面的潜在风险。同时，该研究也为LLM的开发和应用提供了伦理指导，促进负责任的AI发展。

📄 摘要（原文）

The proliferation of large language models (LLMs) can influence how historical narratives are disseminated and perceived. This study explores the implications of LLMs' responses on the representation of mass atrocity memory, examining whether generative AI systems contribute to prosthetic memory, i.e., mediated experiences of historical events, or to what we term "prosthetic denial," the AI-mediated erasure or distortion of atrocity memories. We argue that LLMs function as interfaces that can elicit prosthetic memories and, therefore, act as experiential sites for memory transmission, but also introduce risks of denialism, particularly when their outputs align with contested or revisionist narratives. To empirically assess these risks, we conducted a comparative audit of five LLMs (Claude, GPT, Llama, Mixtral, and Gemini) across four historical case studies: the Holodomor, the Holocaust, the Cambodian Genocide, and the genocide against the Tutsis in Rwanda. Each model was prompted with questions addressing common denialist claims in English and an alternative language relevant to each case (Ukrainian, German, Khmer, and French). Our findings reveal that while LLMs generally produce accurate responses for widely documented events like the Holocaust, significant inconsistencies and susceptibility to denialist framings are observed for more underrepresented cases like the Cambodian Genocide. The disparities highlight the influence of training data availability and the probabilistic nature of LLM responses on memory integrity. We conclude that while LLMs extend the concept of prosthetic memory, their unmoderated use risks reinforcing historical denialism, raising ethical concerns for (digital) memory preservation, and potentially challenging the advantageous role of technology associated with the original values of prosthetic memory.