Testing Associative Creativity in Humans and Multimodal LLMs with Difficult-to-Name Visual Stimuli

📄 arXiv: 2610.27894v1 📥 PDF

作者: Manar Ali, Lisa Gottschalk, Simeon Junker, Lisa Hudalla, Alon Fishman, Joana Cholin, Stefan Kopp, Hendrik Buschmeier, Sina Zarrieß

分类: cs.CL, cs.CV

发布日期: 2026-10-20

备注: Under review

💡 一句话要点

研究多模态大语言模型在抽象视觉刺激下的联想创造力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联想创造力 多模态大语言模型 视觉刺激 语义距离 实验评估

📋 核心要点

  1. 核心问题：现有方法在处理难以命名的视觉刺激时，无法有效评估人类与多模态模型的联想创造力。
  2. 方法要点：通过控制抽象形状组合和随机视觉噪声的难度，评估人类与MLLMs在创造力上的表现差异。
  3. 实验或效果：实验结果表明，人类的联想描述在多样性和新颖性上显著优于MLLMs，且随着难度增加表现出不同的描述策略。

📝 摘要（中文）

本研究探讨了人类与多模态大语言模型（MLLMs）在描述抽象视觉刺激时的联想创造力。尽管概念联想对人类交流至关重要，但当视觉刺激难以与熟悉的语义概念对应时，人类和模型的适应能力尚不明确。通过对多种最先进的MLLMs和人类参与者进行评估，研究考察了创造力的两个维度：原创性和有效性。结果显示，人类在描述的多样性上优于MLLMs，表现出更大的语义距离和更高的熵。随着难度的增加，人类在SilCC任务中的有效性下降，并在PixCC任务中逐渐从整体联想转向低级视觉属性的描述。

🔬 方法详解

问题定义：本研究旨在解决如何评估人类与多模态大语言模型在面对难以命名的视觉刺激时的联想创造力。现有方法在处理复杂视觉信息时，难以捕捉人类与模型的适应能力和创造性表现。

核心思路：论文通过设计两种不同的视觉刺激数据集（SilCC和PixCC），分别控制命名难度和视觉噪声，以此评估人类与MLLMs在创造力方面的表现差异。这样的设计能够揭示在不同难度条件下的联想机制。

技术框架：整体架构包括数据集构建、实验设计、参与者招募、数据收集与分析等多个阶段。SilCC通过复杂形状组合增加难度，而PixCC则通过随机噪声干扰视觉信息。

关键创新：本研究的创新点在于首次系统性地比较了人类与多模态大语言模型在抽象视觉刺激下的联想创造力，揭示了人类在多样性和新颖性方面的优势。

关键设计：在实验中，使用了多种评估指标，如语义距离、熵和新颖性等，以量化描述的创造力。同时，针对不同难度的刺激，设计了相应的实验任务以确保结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，人类在描述的多样性上显著优于多模态大语言模型，表现出更大的语义距离和更高的熵。随着难度增加，人类在SilCC任务中的有效性下降，而在PixCC任务中则逐渐转向低级视觉属性的描述，反映出不同的联想策略。

🎯 应用场景

该研究的潜在应用领域包括人机交互、创意生成和教育等。通过理解人类与模型在创造力上的差异，可以为设计更智能的交互系统提供理论基础，推动多模态AI的发展与应用。

📄 摘要（原文）

We investigate associative creativity in descriptions of abstract visual stimuli by humans and multimodal large language models (MLLMs). While conceptual association is central to human communication, it remains unclear how humans and models adapt when visual stimuli become increasingly difficult to map onto familiar semantic concepts. We evaluate several state-of-the-art MLLMs and human participants along two dimensions of creativity, originality and effectiveness, using two datasets with controlled manipulations of difficulty. SilCC varies naming difficulty through progressively more complex combinations of abstract shapes, and PixCC varies difficulty through increasing levels of random visual noise. Results show that humans produce more diverse associative descriptions than MLLMs, including greater semantic distance, higher entropy, and more novel expressions relative to reference lexica. As difficulty increases, effectiveness declines in SilCC, and humans increasingly shift from holistic associations to descriptions of low-level visual properties in PixCC.