Spark: A System for Scientifically Creative Idea Generation

📄 arXiv: 2504.20090v2 📥 PDF

作者: Aishik Sanyal, Samuel Schapiro, Sumuk Shashidhar, Royce Moon, Lav R. Varshney, Dilek Hakkani-Tur

分类: cs.AI, cs.IR, cs.LG

发布日期: 2025-04-25 (更新: 2025-05-21)

备注: Accepted at ICCC 2025

💡 一句话要点

Spark：一个用于科学创意生成的系统，结合LLM和评审模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学创意生成 大型语言模型 检索增强生成 评审模型 计算创造力

📋 核心要点

  1. 现有方法在科学创意生成方面存在不足，缺乏有效的评估机制来筛选和优化生成的想法。
  2. Spark系统通过结合检索增强的LLM创意生成和基于科学评论训练的评审模型，实现了更具创造性和可行性的科学创意生成。
  3. 该论文发布了用于训练评审模型Judge的带注释数据集，为后续研究提供了宝贵资源，促进了LLM在创意生成和评估方面的应用。

📝 摘要（中文）

近年来，大型语言模型（LLM）在科学领域展现出生成创新研究想法的潜力，这与计算创造力（CC）的许多基本原则相符。鉴于这些进展，我们提出了一个名为Spark的创意生成系统，该系统将使用LLM的检索增强创意生成与一个名为Judge的评审模型相结合，Judge模型基于来自OpenReview的60万份科学评论进行训练。我们的工作既是一个系统演示，也旨在启发其他CC研究人员探索在CC基本原则内对科学想法的生成和评估进行基础研究。为此，我们发布了用于训练Judge的带注释数据集，邀请其他研究人员探索使用LLM进行创意生成和创造性评估。

🔬 方法详解

问题定义：论文旨在解决科学研究中创意产生的瓶颈问题。现有方法往往依赖于人工的头脑风暴或简单的关键词搜索，效率低下且容易陷入思维定势。缺乏有效的自动评估机制来判断生成想法的质量和可行性，导致大量低质量的想法被浪费。

核心思路：论文的核心思路是将大型语言模型（LLM）的生成能力与科学评审的评估能力相结合。利用LLM生成大量的科学创意，然后使用一个训练好的评审模型（Judge）对这些创意进行评估和筛选，从而提高生成创意的质量和可行性。这种方法模拟了科学研究中“提出假设-同行评审”的过程。

技术框架：Spark系统的整体架构包含两个主要模块：创意生成模块和创意评估模块。创意生成模块使用检索增强的LLM，根据给定的研究领域或问题，生成大量的科学创意。创意评估模块使用Judge模型，对生成的创意进行评分和排序。Judge模型是一个基于Transformer的分类器，输入为一个科学创意的描述，输出为该创意被评审接受的可能性。系统最终将得分最高的创意呈现给用户。

关键创新：该论文的关键创新在于将LLM的生成能力与科学评审的评估能力相结合，构建了一个完整的科学创意生成系统。通过训练一个专门的评审模型，可以有效地筛选和评估LLM生成的创意，从而提高生成创意的质量和可行性。此外，该论文还发布了一个大规模的科学评论数据集，为后续研究提供了宝贵的资源。

关键设计：Judge模型基于Transformer架构，使用交叉熵损失函数进行训练。训练数据来自OpenReview的60万份科学评论，每份评论都被标注为“接受”或“拒绝”。在训练过程中，论文使用了数据增强技术，例如随机替换和回译，以提高模型的泛化能力。LLM部分使用了检索增强生成，具体使用的LLM模型和检索策略未知。

🖼️ 关键图片

fig_0

📊 实验亮点

论文训练了一个基于60万科学评论的评审模型Judge，并将其与LLM结合，构建了一个科学创意生成系统Spark。虽然论文中没有给出具体的性能数据，但通过系统演示，展示了该系统生成创新性科学创意的潜力。发布了用于训练Judge模型的带注释数据集，为后续研究提供了宝贵资源。

🎯 应用场景

该研究成果可应用于科学研究的各个领域，辅助科研人员进行创新性研究。例如，可以帮助研究人员快速生成新的研究方向、实验设计或理论模型。此外，该系统还可以用于教育领域，帮助学生更好地理解科学研究的过程，培养创新思维。未来，该系统有望成为科研人员的重要辅助工具，加速科学发现的进程。

📄 摘要（原文）

Recently, large language models (LLMs) have shown promising abilities to generate novel research ideas in science, a direction which coincides with many foundational principles in computational creativity (CC). In light of these developments, we present an idea generation system named Spark that couples retrieval-augmented idea generation using LLMs with a reviewer model named Judge trained on 600K scientific reviews from OpenReview. Our work is both a system demonstration and intended to inspire other CC researchers to explore grounding the generation and evaluation of scientific ideas within foundational CC principles. To this end, we release the annotated dataset used to train Judge, inviting other researchers to explore the use of LLMs for idea generation and creative evaluations.