Book your room in the Turing Hotel! A symmetric and distributed Turing Test with multiple AIs and humans

📄 arXiv: 2603.18981v1 📥 PDF

作者: Christian Di Maio, Tommaso Guidi, Luigi Quarantiello, Jack Bell, Marco Gori, Stefano Melacci, Vincenzo Lomonaco

分类: cs.LG, cs.HC

发布日期: 2026-03-19

💡 一句话要点

提出 TuringHotel：一种对称分布式图灵测试，评估多智能体和人类

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图灵测试 大型语言模型 人机交互 分布式系统 智能体评估

📋 核心要点

  1. 传统图灵测试局限于一对一交互，难以模拟真实世界中群体交流的复杂性，对AI的评估不够全面。
  2. TuringHotel 将图灵测试扩展到群体环境，人类和AI既是参与者也是评判者，模拟更真实的社交互动场景。
  3. 实验结果表明，尽管LLM语言能力很强，但仍存在可识别的人类特征，分布式测试为持续监测LLM发展提供了新途径。

📝 摘要（中文）

本文介绍了“TuringHotel”，一种图灵测试的新扩展，它基于大型语言模型（LLM）和人类参与者混合社区内的互动。传统的图灵测试的一对一互动被重新诠释为群体环境，人类和人工智能体都参与有时间限制的讨论，并且有趣的是，他们既是评判者又是应答者。这个社区在新的UNaIVERSE平台（https://unaiverse.io）中实例化，创建了一个“世界”，定义了角色和互动动态，并由平台内置的编程工具提供支持。所有通信都通过经过身份验证的对等网络进行，确保没有第三方可以访问交换。该平台还为人类提供了一个统一的界面，可以通过移动设备和笔记本电脑访问，这是本文体验的关键组成部分。涉及17名人类参与者和19个LLM的实验结果表明，当前的模型有时仍然会被误认为是人类。有趣的是，存在一些意想不到的错误，这表明人类的指纹仍然可以识别，但并非完全明确，尽管人工智能参与者具有高质量的语言技能。我们认为这是在如此分布式环境中进行的第一个实验，类似的举措可能具有国家利益，以支持正在进行的实验和竞赛，旨在监测大型语言模型随时间的演变。

🔬 方法详解

问题定义：传统图灵测试主要关注个体AI与人类的交互，缺乏对AI在群体环境中表现的评估。现有方法难以捕捉AI在复杂社交互动中的细微差别，例如理解语境、识别情感、以及进行有效的沟通和协作。因此，需要一种新的测试框架，能够更全面地评估AI在群体环境中的智能水平。

核心思路：TuringHotel的核心思路是将图灵测试从一对一的交互扩展到多对多的群体交互。在这个群体中，人类和AI都扮演着参与者和评判者的双重角色。通过观察和分析他们在群体讨论中的行为和表现，可以更全面地评估AI的智能水平和与人类的相似程度。这种设计模拟了更真实的社交环境，能够更好地揭示AI的优势和不足。

技术框架：TuringHotel 的整体架构基于 UNaIVERSE 平台，该平台提供了一个虚拟的“世界”，用于定义角色、交互动态和通信协议。参与者（包括人类和AI）通过该平台进行交流。平台使用经过身份验证的对等网络，确保通信的安全性和隐私性。平台还提供统一的界面，方便人类参与者使用移动设备或笔记本电脑进行交互。整个流程包括：1) 创建混合社区；2) 进行时间限制的讨论；3) 参与者互相判断；4) 分析判断结果。

关键创新：TuringHotel 的关键创新在于其对称和分布式的测试环境。对称性体现在人类和AI都扮演着相同的角色，既是参与者又是评判者。分布式体现在测试过程是在一个去中心化的网络上进行的，没有中心化的控制节点。这种设计避免了单点故障和潜在的偏见，提高了测试的公平性和可靠性。此外，使用UNaIVERSE平台进行实例化，为后续研究提供了可复用的平台。

关键设计：UNaIVERSE平台是关键设计之一，它提供了角色定义、交互逻辑和通信协议。时间限制的讨论是另一个关键设计，它模拟了真实世界中人们进行交流的时间压力。此外，参与者互相判断的设计，使得测试结果更加客观和全面。具体的参数设置和损失函数等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管当前LLM的语言能力很强，但仍有一定概率被误认为人类。更重要的是，实验中出现了一些意想不到的错误，表明人类的“指纹”仍然可以被识别，但并非完全明确。这说明LLM在模仿人类行为方面仍有提升空间，也为未来的研究提供了方向。

🎯 应用场景

TuringHotel 的应用场景广泛，可用于评估和监测大型语言模型的发展，指导AI模型的改进和优化。此外，该平台还可用于研究人类和AI的交互行为，探索人机协作的新模式。该研究对于推动人工智能的伦理发展和安全应用具有重要意义。

📄 摘要（原文）

In this paper, we report our experience with TuringHotel'', a novel extension of the Turing Test based on interactions within mixed communities of Large Language Models (LLMs) and human participants. The classical one-to-one interaction of the Turing Test is reinterpreted in a group setting, where both human and artificial agents engage in time-bounded discussions and, interestingly, are both judges and respondents. This community is instantiated in the novel platform UNaIVERSE (https://unaiverse.io), creating aWorld'' which defines the roles and interaction dynamics, facilitated by the platform's built-in programming tools. All communication occurs over an authenticated peer-to-peer network, ensuring that no third parties can access the exchange. The platform also provides a unified interface for humans, accessible via both mobile devices and laptops, that was a key component of the experience in this paper. Results of our experimentation involving 17 human participants and 19 LLMs revealed that current models are still sometimes confused as humans. Interestingly, there are several unexpected mistakes, suggesting that human fingerprints are still identifiable but not fully unambiguous, despite the high-quality language skills of artificial participants. We argue that this is the first experiment conducted in such a distributed setting, and that similar initiatives could be of national interest to support ongoing experiments and competitions aimed at monitoring the evolution of large language models over time.