Process Matters more than Output for Distinguishing Humans from Machines
作者: Milena Rmus, Mathew D. Hardy, Thomas L. Griffiths, Mayank Agrawal
分类: cs.AI
发布日期: 2026-05-07
💡 一句话要点
提出CogCAPTCHA30认知任务集，通过过程特征而非输出区分人类与机器。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机区分 认知过程 过程特征 CogCAPTCHA30 行为模仿 人工智能安全 认知科学
📋 核心要点
- 现有方法侧重于输出结果，难以有效区分日益逼真的人工智能代理，尤其是在输出结果相似的情况下。
- 论文提出CogCAPTCHA30，通过设计一系列认知任务，关注行为产生的过程特征，而非单纯的输出结果。
- 实验表明，过程特征在区分人类和机器方面表现更佳，即使在输出匹配的情况下，也能达到较高的区分度（AUC=0.88）。
📝 摘要（中文）
随着大型语言模型和自主代理在在线环境中的部署，可靠的人机区分变得越来越重要。现有方法侧重于系统能否产生与人类无法区分的行为或响应，遵循艾伦·图灵提出的以输出作为智能标准的思想。认知科学提供了一种替代视角：评估行为产生的过程。为了测试认知过程是否能可靠地区分人类和机器，我们引入了CogCAPTCHA30，这是一个包含30个认知任务的集合，旨在即使在任务表现匹配的情况下也能引出诊断性的过程级特征。在整个任务集中，过程级特征比单独的性能指标提供了更强的区分信号，即使在输出匹配的情况下也能可靠地区分人类和代理（平均过程特征分类器AUC = 0.88）。为了评估代理过程的差异，我们比较了现成的先进代理（Claude Sonnet 4.5、GPT-5、Gemini 2.5 Pro）、Centaur（一个在1070万个人类决策上微调的语言模型）以及应用于Qwen2.5-1.5B-Instruct的两种特定于任务的微调方法：动作级监督微调（A-SFT）和过程级微调（P-SFT），后者直接优化过程特征。相对于现成的代理，在人类决策上的广泛微调改善了类人任务过程，而特定于任务的过程级监督进一步改善了行为模仿。然而，当监督过程目标不能自然地跨任务泛化时，这种优势在跨任务迁移下会减弱。显式的过程级监督可以改善类人行为模仿，但前提是存在适当的特定于任务的过程表示，这突出了过程规范是机器实现类人认知过程的瓶颈。
🔬 方法详解
问题定义：当前人机区分方法主要依赖于判断机器的输出是否与人类相似，这种方法在面对日益强大的语言模型和自主代理时变得越来越困难。现有方法的痛点在于，它们忽略了人类行为背后的认知过程，而仅仅关注最终的输出结果，导致难以区分模仿人类行为但认知过程不同的机器。
核心思路：论文的核心思路是，通过设计一系列认知任务，提取并分析人类和机器在完成任务时的过程特征，以此来区分两者。这种方法基于认知科学的观点，认为人类行为的独特性不仅体现在结果上，更体现在产生结果的过程上。
技术框架：论文提出了CogCAPTCHA30，包含30个认知任务。整体流程如下：1. 设计认知任务，这些任务旨在激发人类和机器不同的认知过程。2. 收集人类和机器在完成这些任务时的行为数据，包括动作序列、决策时间等过程特征。3. 使用机器学习模型（如分类器）对过程特征进行分析，判断行为是由人类还是机器产生的。4. 通过实验验证CogCAPTCHA30在区分人类和机器方面的有效性。
关键创新：最重要的技术创新点在于，它将认知科学的理论引入到人机区分领域，不再仅仅关注输出结果，而是深入分析行为产生的过程。与现有方法相比，CogCAPTCHA30能够更有效地捕捉人类和机器在认知过程上的差异，从而提高区分的准确性。
关键设计：CogCAPTCHA30的关键设计在于任务的选择和过程特征的提取。任务需要能够激发人类和机器不同的认知过程，例如需要进行推理、规划、决策等。过程特征需要能够反映这些认知过程的特点，例如动作序列的复杂性、决策时间的变化、错误率的分布等。此外，论文还采用了过程级微调（P-SFT）方法，直接优化过程特征，以提高机器模仿人类行为的能力。
🖼️ 关键图片
📊 实验亮点
CogCAPTCHA30在区分人类和机器方面表现出色，即使在输出匹配的情况下，平均过程特征分类器的AUC值也达到了0.88。与仅依赖性能指标的方法相比，过程特征提供了更强的区分信号。此外，通过过程级微调（P-SFT），可以显著提高机器模仿人类行为的能力，但这种能力在跨任务迁移时会受到限制。
🎯 应用场景
该研究成果可应用于在线身份验证、防止恶意机器人攻击、评估人工智能系统的类人程度等领域。通过更准确地区分人类和机器，可以提高在线服务的安全性，防止欺诈行为，并促进人机协作的健康发展。未来，该方法可用于评估人工智能系统在认知能力方面的进展，推动人工智能向更智能、更人性化的方向发展。
📄 摘要（原文）
Reliable human-machine discrimination is becoming increasingly important as large language models and autonomous agents are deployed in online settings. Existing approaches evaluate whether a system can produce behavior or responses indistinguishable from those of a human, following the emphasis on outputs as a criterion for intelligence proposed by Alan Turing. Cognitive science offers an alternative perspective: evaluating the process by which behavior is produced. To test whether cognitive processes can reliably distinguish humans from machines, we introduce CogCAPTCHA30, a battery of 30 cognitive tasks designed to elicit diagnostic process-level features even when task performance is matched. Across the battery, process-level features provide stronger discriminative signal than performance metrics alone, reliably distinguishing humans from agents even under output matching (mean process-feature classifier AUC = 0.88). To evaluate agentic process differences, we compare off-the-shelf frontier agents (Claude Sonnet 4.5, GPT-5, Gemini 2.5 Pro), Centaur (a language model fine-tuned on 10.7M human decisions), and two task-specific fine-tuning approaches applied to Qwen2.5-1.5B-Instruct: action-level supervised fine-tuning (A-SFT) and process-level fine-tuning (P-SFT), which directly optimizes process features. Broad fine-tuning on human decisions improves human-like task processes relative to off-the-shelf agents, while task-specific process-level supervision further improves behavioral mimicry. However, this advantage diminishes under cross-task transfer when supervised process targets do not naturally generalize across tasks. Explicit process-level supervision can improve human behavioral mimicry, but only if appropriate task-specific process representations are available, highlighting process specification as a bottleneck for achieving human-like cognitive processes in machines.