The Imitation Game According To Turing

📄 arXiv: 2501.17629v1 📥 PDF

作者: Sharon Temtsin, Diane Proudfoot, David Kaber, Christoph Bartneck

分类: cs.HC, cs.AI, cs.CY

发布日期: 2025-01-29

💡 一句话要点

严格图灵测试揭示GPT-4-Turbo未通过，驳斥了当前AI“思考”的过分主张。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图灵测试 大型语言模型 GPT-4-Turbo 人工智能评估 模仿游戏

📋 核心要点

  1. 现有研究声称LLM通过图灵测试，但未严格遵循图灵原始指令，导致对AI能力的过度解读。
  2. 论文严格遵循图灵原始指令，设计了三人模仿游戏，并采用科学标准处理模糊之处，进行严谨的图灵测试。
  3. 实验结果表明，GPT-4-Turbo未能通过严格的图灵测试，驳斥了当前对LLM“思考”能力的过分主张。

📝 摘要（中文）

当前人工智能领域，生成式AI的普及以及科学家和推广者对AI技术的宣传，引发了公众对AI益处和风险的过度炒作和焦虑。特别是，近期研究声称大型语言模型（LLMs）能够通过图灵测试，从而具备“思考”能力。然而，这些研究并未忠实地遵循图灵的原始指令。因此，我们使用GPT-4-Turbo进行了一项严格的图灵测试，该测试严格遵守了图灵的三人模仿游戏规则。我们遵循既定的科学标准，处理了图灵指令中模糊或缺失的部分。例如，我们进行了计算机模仿人类游戏（CIHG），没有限制时间，并进行了男人模仿女人游戏（MIWG）作为基准。结果表明，几乎所有参与者都正确识别出了LLM，表明目前最先进的LLM之一无法通过严格的图灵测试。因此，我们得出结论，近期对这些模型的过分主张是没有根据的，并且不应引起对思考机器的社会影响的乐观或担忧。

🔬 方法详解

问题定义：论文旨在解决当前对大型语言模型（LLMs）是否具备“思考”能力的过度炒作问题。现有研究声称LLMs通过了图灵测试，但这些研究未能严格遵循图灵原始测试的规则，导致对AI能力的误判。因此，论文要解决的问题是：在严格遵循图灵原始测试规则的前提下，验证当前最先进的LLMs是否能够通过图灵测试。

核心思路：论文的核心思路是严格遵循图灵原始测试的规则，设计实验，避免现有研究中存在的偏差。通过严格的实验设计和科学的评估方法，客观地评估LLMs的性能，从而驳斥当前对LLMs“思考”能力的过分主张。论文强调了遵循原始测试规则的重要性，并以此为基础进行实验。

技术框架：论文采用三人模仿游戏作为图灵测试的框架。该框架包含一个提问者和两个回答者，其中一个回答者是人类，另一个是LLM。提问者的任务是通过提问来区分人类和LLM。为了更全面地评估LLM的性能，论文还进行了计算机模仿人类游戏（CIHG）和男人模仿女人游戏（MIWG）作为基准。CIHG旨在测试LLM模仿人类的能力，而MIWG旨在测试人类模仿特定性别的能力。

关键创新：论文的关键创新在于严格遵循图灵原始测试的规则。与现有研究不同，论文没有对测试的时间或问题类型进行限制，从而避免了潜在的偏差。此外，论文还采用了科学的评估方法，例如统计分析，来评估LLM的性能。这种严格的实验设计和评估方法是论文的主要创新点。

关键设计：在实验设计方面，论文采用了GPT-4-Turbo作为LLM的代表。在CIHG中，没有限制时间，允许提问者充分提问。在MIWG中，参与者被要求模仿特定性别，以测试人类的模仿能力。论文还详细描述了实验的流程和评估指标，确保实验的可靠性和可重复性。

📊 实验亮点

实验结果显示，在严格遵循图灵原始测试规则的前提下，GPT-4-Turbo未能通过图灵测试。几乎所有参与者都能够正确识别出LLM，表明当前最先进的LLM之一并不具备通过严格图灵测试的能力。这一结果驳斥了当前对LLM“思考”能力的过分主张。

🎯 应用场景

该研究成果可应用于评估新型AI模型的真实能力，避免过度炒作和不切实际的期望。通过更严格的测试标准，可以更准确地了解AI的局限性，从而指导AI技术的合理发展和应用，并为社会提供更可靠的AI风险评估。

📄 摘要（原文）

The current cycle of hype and anxiety concerning the benefits and risks to human society of Artificial Intelligence is fuelled, not only by the increasing use of generative AI and other AI tools by the general public, but also by claims made on behalf of such technology by popularizers and scientists. In particular, recent studies have claimed that Large Language Models (LLMs) can pass the Turing Test-a goal for AI since the 1950s-and therefore can "think". Large-scale impacts on society have been predicted as a result. Upon detailed examination, however, none of these studies has faithfully applied Turing's original instructions. Consequently, we conducted a rigorous Turing Test with GPT-4-Turbo that adhered closely to Turing's instructions for a three-player imitation game. We followed established scientific standards where Turing's instructions were ambiguous or missing. For example, we performed a Computer-Imitates-Human Game (CIHG) without constraining the time duration and conducted a Man-Imitates-Woman Game (MIWG) as a benchmark. All but one participant correctly identified the LLM, showing that one of today's most advanced LLMs is unable to pass a rigorous Turing Test. We conclude that recent extravagant claims for such models are unsupported, and do not warrant either optimism or concern about the social impact of thinking machines.