Evaluating LLM Creativity through Long-Tail Performance
作者: Yichen Wang, Tenghao Huang, Vishakh Padmakumar, Mina Lee
分类: cs.CL
发布日期: 2026-10-09
备注: 26 pages, including references and appendices. Code and data: https://github.com/YichenZW/longtail-creativity
💡 一句话要点
提出长尾性能评估方法以提升大语言模型创造力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 创造力评估 长尾性能 新颖性质量 任务特定性能
📋 核心要点
- 现有的创造力基准在任务和指标设计上存在较大差异，难以统一评估大语言模型的创造力。
- 本文提出通过长尾性能评估来量化创造力，利用新颖性质量产品公式进行实证分析。
- 实验结果表明，创造力基准在长尾区域的表现优于标准基准，且模型排名与人类判断更为一致。
📝 摘要（中文）
大语言模型（LLMs）的创造力基准在任务和指标设计上差异较大，这引发了它们是否捕捉到共同创造力概念的疑问。本文提出将这一共享目标形式化为参考输入-输出分布的长尾任务特定性能。通过实证评估15个基准和26个开放权重模型，结果显示创造力基准在长尾区域的表现优于标准基准。此外，基于长尾子集的模型排名与人类创造力判断更为一致。基于此，本文引入q@Tail($α$)作为一种低成本的创造力诊断方法，测量现有基准的长尾部分的平均任务质量，表明通过增强长尾性能可以显著提升LLM的创造力。
🔬 方法详解
问题定义：本文旨在解决现有大语言模型创造力评估方法缺乏统一标准的问题，现有基准无法有效捕捉模型在长尾输入-输出对上的表现。
核心思路：论文提出将创造力定义为在长尾区域的任务特定性能，通过新颖性质量产品公式进行量化评估，以此作为创造力的共同标准。
技术框架：整体架构包括长尾性能评估的设计、数据收集与处理、模型评估与比较等主要模块，采用n-gram缺失作为新颖性代理。
关键创新：引入q@Tail($α$)作为低成本的创造力诊断工具，专注于现有基准的长尾部分，显著提升了创造力评估的有效性。
关键设计：在实验中，采用了15个基准和26个开放权重模型，设计了特定的损失函数和评估指标，以确保新颖性和质量的平衡。通过对比不同模型在长尾区域的表现，揭示了创造力提升的潜力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，创造力基准在长尾区域的表现显著优于标准基准，且模型在长尾子集的排名与人类创造力判断的相关性更高。具体而言，q@Tail($α$)方法在评估中展现出较低的成本和较高的有效性，为创造力提升提供了新的视角。
🎯 应用场景
该研究的潜在应用领域包括自然语言生成、创意写作、教育辅助工具等。通过提升大语言模型的创造力，可以在内容生成、个性化推荐等方面实现更高的用户满意度和互动性，未来可能对人机协作和创意产业产生深远影响。
📄 摘要（原文）
Creativity benchmarks for large language models (LLMs) vary widely in task and metric design. This raises the question of whether they capture a common notion of creativity. We propose that this shared target can be formalized as task-specific performance in the long tail of a reference input-output distribution, which describes how common input-output pairs are relative to a chosen source of text. We ground this proposition in the novelty-quality product formulation and evaluate it empirically across 15 benchmarks and 26 open-weight models, using n-gram absence from the pretraining data as a novelty proxy. Our results show that creativity benchmarks lie further in the tail regions than standard benchmarks. Moreover, on both creativity and standard benchmarks, model rankings from higher-tail subsets of each benchmark align more closely with human creativity judgments in LM-Arena. Building on these findings, we introduce q@Tail($α$), a lower-cost creativity diagnostic that measures mean task quality on the tail fraction of an existing benchmark. Applying it to creativity-promoting methods reveals substantial room to improve LLM creativity through stronger tail performance.