LLM as a Broken Telephone: Iterative Generation Distorts Information

📄 arXiv: 2502.20258v2 📥 PDF

作者: Amr Mohamed, Mingmeng Geng, Michalis Vazirgiannis, Guokan Shang

分类: cs.CL, cs.AI

发布日期: 2025-02-27 (更新: 2025-09-15)

备注: Accepted to ACL 2025, Main Conference

💡 一句话要点

研究表明LLM迭代生成会扭曲信息，类似“传话游戏”效应，提示工程可缓解。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 迭代生成 信息扭曲 传话游戏 提示工程

📋 核心要点

  1. 大型语言模型在内容生成中被广泛应用，但其迭代生成可能导致信息失真，类似于“传话游戏”。
  2. 该研究通过翻译实验模拟LLM的迭代生成过程，分析信息扭曲的程度和影响因素。
  3. 实验结果表明，信息扭曲随迭代次数增加而累积，但可以通过提示工程进行缓解。

📝 摘要（中文）

随着大型语言模型越来越多地负责在线内容生成，重复处理自身输出的影响日益受到关注。本研究受到人类链式沟通中“传话游戏”效应的启发，探讨了LLM是否也会通过迭代生成扭曲信息。通过基于翻译的实验，我们发现信息扭曲会随着时间累积，并受到语言选择和链式复杂度的影响。虽然信息退化不可避免，但可以通过策略性的提示技术来缓解。这些发现有助于讨论AI介导的信息传播的长期影响，并对迭代工作流程中LLM生成内容的可靠性提出了重要问题。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在迭代生成内容时，信息是否会发生扭曲。现有方法缺乏对LLM迭代生成过程中的信息衰减和失真问题的系统性研究，无法有效评估和控制LLM生成内容的可靠性。

核心思路：论文借鉴了“传话游戏”的概念，将LLM的迭代生成过程类比为信息的链式传递。核心思路是通过模拟LLM的迭代生成过程，观察信息在传递过程中的变化，从而评估LLM的信息保持能力和失真程度。通过分析不同语言和链式复杂度下的信息扭曲情况，探索影响信息失真的因素。

技术框架：该研究采用基于翻译的实验框架。首先，选择一个初始文本作为输入。然后，使用LLM进行多次迭代的翻译，每次迭代都将文本翻译成另一种语言，然后再翻译回原始语言。通过比较原始文本和最终翻译文本之间的差异，来评估信息扭曲的程度。实验中，研究人员控制了语言选择和链式复杂度等变量。

关键创新：该研究的关键创新在于将“传话游戏”的概念引入到LLM的研究中，并将其应用于评估LLM的迭代生成能力。通过基于翻译的实验框架，量化了LLM在迭代生成过程中信息扭曲的程度，并揭示了语言选择和链式复杂度等因素对信息失真的影响。

关键设计：实验中，研究人员使用了多种语言进行翻译，包括英语、法语、德语等。链式复杂度通过控制翻译的迭代次数来调整。信息扭曲程度的评估指标包括BLEU score等。此外，研究人员还探索了不同的提示策略，以缓解信息失真。例如，在提示中加入“请尽可能保持原文意思”等指令。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM在迭代生成过程中会产生信息扭曲，且扭曲程度随迭代次数增加而累积。不同语言和链式复杂度对信息扭曲的影响不同。通过策略性的提示工程，可以有效缓解信息失真。例如，在提示中加入明确的指令可以显著提高信息保持能力。

🎯 应用场景

该研究成果可应用于评估和改进LLM在内容创作、机器翻译、对话系统等领域的应用。通过了解LLM迭代生成过程中的信息失真情况，可以设计更可靠的LLM应用，并提高LLM生成内容的质量和可信度。此外，该研究也为AI伦理和信息传播领域的研究提供了参考。

📄 摘要（原文）

As large language models are increasingly responsible for online content, concerns arise about the impact of repeatedly processing their own outputs. Inspired by the "broken telephone" effect in chained human communication, this study investigates whether LLMs similarly distort information through iterative generation. Through translation-based experiments, we find that distortion accumulates over time, influenced by language choice and chain complexity. While degradation is inevitable, it can be mitigated through strategic prompting techniques. These findings contribute to discussions on the long-term effects of AI-mediated information propagation, raising important questions about the reliability of LLM-generated content in iterative workflows.