CogGym: Towards Large-Scale Comparative Evaluation of Human and Machine Cognition
作者: Lance Ying, Jinzhou Wu, Yingshan Susan Wang, Shivam Aarya, Luca M. Schulze Buschoff, Harry Chen, Katherine M. Collins, Andrea de Varda, Shuhao Fu, Sean Dae Houlihan, Akshay K. Jagadish, Guangyuan Jiang, Samuel Kiegeland, Tetsu Kurumisawa, Rongzhi Liu, Ryan Liu, Ningshan Ma, Kathryn McGregor, Younes Strittmatter, Polina Tsvilodub, Jacob Hoover Vigly, Sarah Wu, Enjie Xu, Yiling Yun, Kelsey Allen, Tyler Brooke-Wilson, Brian Christian, Evelina Fedorenko, Michael C. Frank, Michael Franke, Tao Gao, Samuel J. Gershman, Robert D. Hawkins, Jennifer Hu, Julian Jara-Ettinger, Max Kleiman-Weiner, Sydney Levine, Tal Linzen, Hongjing Lu, Timothy O'Donnell, Desmond C. Ong, Steven T. Piantadosi, Rebecca Saxe, Eric Schulz, Tianmin Shu, Felix A. Sosa, Ilia Sucholutsky, Tan Zhi-Xuan, Tomer Ullman, Fei Xu, Ilker Yildirim, Jian-Qiao Zhu, Thomas L. Griffiths, Tobias Gerstenberg, Kevin Smith, Joshua B. Tenenbaum
分类: cs.AI
发布日期: 2026-09-18
备注: Project website -- https://coggym.org
💡 一句话要点
提出CogGym框架以系统比较人类与机器认知能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 认知科学 人工智能 模型评估 实验标准化 常识推理 人机比较
📋 核心要点
- 现有方法在系统比较人类与机器认知能力时面临任务多样性和标准化不足的挑战。
- CogGym框架通过标准化实验范式，使用任务无关的实验标记语言，实现人类与模型的可重复比较。
- 实验结果显示，较大的AI模型在常识推理任务上表现更好，但与人类的匹配程度仍有显著差距。
📝 摘要（中文）
理解和建模人类智能是人工智能与认知科学共同的目标。随着AI系统能力的提升，模型响应与人类响应的相似性及系统性差异成为研究重点。CogGym是一个可扩展的统一框架，旨在系统比较模型与人类在匹配实验中的表现。该框架通过半自动化的人机协作流程，将多样的实验范式标准化为任务无关的实验标记语言（EML），实现可重复和真实的比较。初步研究中，研究者整理了258个认知实验，评估了50个大型语言模型与人类响应的匹配程度，发现较大的AI模型在常识推理任务上更能接近人类判断，但其提升速度远低于在形式推理基准上的进展。
🔬 方法详解
问题定义：本论文旨在解决人类与机器认知能力比较的标准化问题。现有方法在任务多样性和实验设计上缺乏统一性，导致比较结果不够可靠。
核心思路：CogGym框架的核心思想是通过标准化实验设计，将不同的认知实验转化为统一的实验标记语言（EML），从而实现可扩展的比较。这样的设计可以确保不同实验之间的可比性和重复性。
技术框架：CogGym的整体架构包括实验标准化模块、数据收集模块和结果分析模块。实验标准化模块负责将多样的实验范式转化为EML，数据收集模块则通过人机协作获取实验结果，最后结果分析模块对比模型与人类的表现。
关键创新：CogGym的主要创新在于其统一的实验标记语言（EML），使得不同实验之间的比较成为可能。这一方法与现有的实验设计方法相比，具有更高的灵活性和可扩展性。
关键设计：在设计中，CogGym采用了半自动化的人机协作流程，确保实验的标准化和数据的准确性。关键参数包括实验设计的多样性、模型评估的标准化，以及数据分析的系统性。通过这些设计，CogGym能够有效地处理和比较大量的认知实验数据。
🖼️ 关键图片
📊 实验亮点
实验结果显示，较大的AI模型在常识推理任务上表现更接近人类判断，最佳模型在文本、图像和视频实验中的$R^2$分别为0.59、0.58和0.43，尽管与人类的可靠性（$R^2$为0.93、0.95和0.92）仍存在显著差距。这表明AI模型在常识推理方面的提升速度较慢。
🎯 应用场景
CogGym框架的潜在应用领域包括认知科学研究、人工智能模型评估以及教育领域的智能辅导系统。通过提供一个标准化的比较平台，CogGym可以帮助研究者深入理解人类与机器在认知任务上的异同，从而推动AI系统的进一步发展与优化。
📄 摘要（原文）
Understanding and modeling human intelligence are parallel goals shared by artificial intelligence (AI) and cognitive science. As AI systems grow increasingly capable, in what ways do model responses resemble human responses, and where do they systematically diverge? The sheer breadth and diversity of the tasks humans can perform and think about pose a challenge for scalable and rigorous comparison between humans and models. We introduce CogGym, a scalable, unified framework grounded in cognitive science for systematically comparing model and human behavior on matched experimental trials. CogGym uses a semi-automated, human-in-the-loop pipeline to standardize diverse experimental paradigms into a task-agnostic Experiment Markup Language (EML), enabling reproducible and faithful comparison at scale. For initial release, we curate and standardize 258 cognitive experiments from 100 papers that focuses on human commonsense reasoning, and evaluate 50 large language models against human responses. We find a clear scaling trend where larger and more recent AI models better reproduce human judgments. Yet AI models' improvement on such common reasoning tasks is considerably slower than the gains observed on formal-reasoning benchmarks like math and coding, and model--human fit remains well below human splithalf reliability ($R^2 = 0.93$ on text, $0.95$ on image, and $0.92$ on video) with the best models achieving $R^2 = 0.59$ on text, $0.58$ on image, and $0.43$ on video experiments. We intend for CogGym to provide a living evaluation framework that continually incorporates new cognitive science experiments to characterize where model behavior resembles human behavior, where it systematically diverges, and how those patterns change as models and experiments evolve.