PainterBench: A Figural Divergent-Thinking Benchmark for Tool-Using Language Models
作者: Shane K. A. Dalumura Hettige, Jonas Oppenlaender
分类: cs.AI, cs.CL, cs.HC
发布日期: 2026-09-28
备注: 25 pages, 7 figures, 11 tables
💡 一句话要点
提出PainterBench以评估工具使用语言模型的图形发散思维能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图形发散思维 多模态语言模型 工具使用 开放式任务 创造性评估 自动评分系统 视觉规划
📋 核心要点
- 现有方法在评估图形发散思维能力时缺乏有效的基准，尤其是在工具使用的上下文中。
- 提出PainterBench基准，通过代理在画布上进行绘图，评估其在开放式任务中的创造性表现。
- 实验结果显示，GPT-6 Astra生成的绘画在创造性上优于人类绘画，但在可识别性上较低，展示了模型的多样性。
📝 摘要（中文）
图形发散思维是将给定形状片段发展为原创绘画的能力。人类通过不完整绘图任务评估这一能力。本文介绍了PainterBench，一个将不完整绘图任务迁移到代理设置的基准。代理通过工具调用在画布上绘制，并在每一步观察结果。画布包含一个不可擦除的起始形状，代理的目标是将该形状融入最具原创性的绘画中。该任务是开放式的，代理自行决定何时完成绘画。基准测试了短期内的增量视觉规划和从预训练到多轮工具使用的创造能力转移。我们评估了14种从小型到前沿规模的多模态语言模型，收集了2700幅绘画及其创意和可识别性评分。
🔬 方法详解
问题定义：本文旨在解决现有方法在评估图形发散思维能力时的不足，特别是在工具使用的场景中缺乏有效的评估基准。现有方法往往无法捕捉到代理在创作过程中的增量视觉规划能力。
核心思路：论文提出PainterBench基准，通过将不完整绘图任务迁移到代理设置，允许代理在画布上进行多轮绘图，评估其创造性和视觉规划能力。这样的设计使得代理能够在每一步观察结果并进行调整，从而更好地体现其创造性。
技术框架：整体架构包括代理绘图、工具调用、结果观察和创作完成判断四个主要模块。代理在每轮中使用工具进行绘图，并在每次绘制后观察画布的变化，最终决定何时完成绘画。
关键创新：最重要的技术创新点在于将不完整绘图任务转化为代理设置，允许模型在开放式任务中自主决策，进而评估其创造性表现。这与传统的静态评估方法有本质区别。
关键设计：关键设计包括对工具调用的精细控制、画布状态的实时更新，以及使用ViDrA-adapted自动评分系统来预测人类对代理绘画的创意评分。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GPT-6 Astra生成的绘画在创意评分上优于人类绘画，尽管在可识别性上较低。模型之间的创造性差异显著，展示了多模态语言模型在图形发散思维任务中的潜力。具体而言，代理绘画的创意评分与人类绘画相比，创造性评分更高，但可识别性评分较低，表明模型在创造性表现上的优势。
🎯 应用场景
该研究的潜在应用领域包括教育、艺术创作和人机交互等。通过评估和提升工具使用语言模型的创造性，能够为艺术生成、设计辅助和创意教育提供新的思路和工具，未来可能对相关领域产生深远影响。
📄 摘要（原文）
Figural divergent thinking is the ability to develop a given shape fragment into an original drawing. In humans, this ability is assessed with incomplete-drawing tasks. We introduce PainterBench, a benchmark that ports the incomplete-drawing task to the agentic setting. The agent draws on a canvas through tool calls and observes the result after every turn. The canvas includes a starting shape which cannot be erased, and the agent's goal is to incorporate this shape into the most original drawing it can produce. The task is open-ended, and the agent itself decides when the drawing is finished. The benchmark tests incremental visual planning over a short horizon and the transfer of creative ability from pretraining to multi-turn tool use. We evaluate 14 multimodal language models from small to frontier scale. Across the primary study and six sensitivity analyses, we collect 2,700 drawings and crowdsource creativity and recognizability ratings for every drawing and for 300 human reference drawings. We also present ViDrA-adapted, an automated scorer that predicts human creativity ratings of agent drawings (r = 0.85 on random held-out test split). Figural divergent thinking varies widely across the 14 models, and GPT-6 Astra produces the most creative drawings. Relative to the human drawings, the agent drawings score higher in creativity but lower in recognizability. We release the final drawings, per-round canvas snapshots, tool call traces, stimulus bank, benchmark harness, crowdsourced ratings (N = 72,000), and ViDrA checkpoint.