Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation
作者: Noy Sternlicht, Simra Shahid, Peter Jansen, Daniel S. Weld, Pao Siangliulue, Tom Hope
分类: cs.CL
发布日期: 2026-10-01
💡 一句话要点
提出系统化方法评估大型语言模型的创意新颖性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 创意生成 新颖性评估 大型语言模型 自动化系统 评估方法
📋 核心要点
- 现有的大型语言模型在创意新颖性评估中表现不佳，且评估方法缺乏系统性和有效性。
- 本文通过构建自动化评估集，系统研究新颖性评估的设计选择，揭示了提示设计对评估结果的重大影响。
- 实验结果显示，简单的提示变化可以导致评估准确率变化超过50个百分点，部分情况下甚至低于随机水平。
📝 摘要（中文）
自动化创意系统的评估通常依赖于生成创意的新颖性，而这一判断越来越多地委托给大型语言模型（LLM）。然而，现有的评估方法往往是临时构建的，且验证过程缺乏针对生成创意的有效性。本文通过系统的控制研究，探讨了新颖性评估设计选择的影响，发现小的提示设计变化会显著影响评估结果，甚至可能导致评估准确率低于随机水平。这些发现对自动化创意系统的报告新颖性提升提出了质疑，并呼吁建立更为稳健的新颖性评估方法。
🔬 方法详解
问题定义：本文旨在解决当前大型语言模型在创意新颖性评估中的不稳定性问题。现有方法通常缺乏针对生成创意的有效验证，导致评估结果不可靠。
核心思路：论文通过构建一个系统化的评估集，利用OpenReview中的评审意见，分析不同提示设计对新颖性评估结果的影响，以此揭示评估方法的不足之处。
技术框架：整体架构包括数据收集、评估集构建、提示设计实验和结果分析四个主要模块。首先从OpenReview中挖掘出具有一致性意见的论文，然后与LLM生成的创意进行配对，进行评估实验。
关键创新：最重要的创新点在于通过系统化的实验设计，揭示了提示设计对新颖性评估结果的显著影响，挑战了现有评估方法的有效性。
关键设计：在实验中，设计了多种提示方式，观察其对评估结果的影响，发现简单的提示变化可以导致评估准确率的剧烈波动，且不同评估者对相同提示的反应存在显著差异。
🖼️ 关键图片
📊 实验亮点
实验结果表明，简单的提示设计变化可以使评估准确率变化超过50个百分点，部分情况下评估结果甚至低于随机水平。这一发现对现有自动化创意系统的报告新颖性提升提出了质疑，强调了评估方法的重要性。
🎯 应用场景
该研究的潜在应用领域包括自动化创意生成、学术论文评审、以及任何需要评估创意新颖性的场景。通过建立更为稳健的新颖性评估方法，可以提升自动化创意系统的可靠性和有效性，推动相关领域的发展。
📄 摘要（原文）
Automated ideation systems are often evaluated on the novelty of the ideas they produce, and that judgment is increasingly delegated to large language models. Such judges are typically built ad hoc and validated, if at all, on human-authored papers rather than on the generated ideas they are meant to score. So, how do novelty judges perform? Not well. We present a systematic controlled study of novelty evaluation design choices. We first build an evaluation set automatically, mining OpenReview for passages where reviewers explicitly affirm or dispute a paper's originality and keeping only submissions with unanimous agreement at the extremes of their research area; we pair these with ideas from a vanilla LLM generator. Across six judges, we find that small prompt design choices have large consequences; e.g., simply telling the judge that reviewers found one idea novel and the other not can change its verdict on more than half of the identical idea pairs it is shown, shifting pairwise accuracy by over 50 points and occasionally pushing it below chance. The same change helps one judge and hurts another. Retrieval and larger reasoning budgets help little, and two purpose-built novelty evaluators are outperformed by our cheapest prompted baseline. These results raise questions about reported novelty gains of automated ideation systems, and call for robust novelty evaluation methods.