Reinforcing Agentic Creativity in Scientific Ideation with Night Science

📄 arXiv: 2609.35706v1 📥 PDF

作者: Priyanka Kargupta, Silviu Cucerzan, Shweti Mahajan, Allen Herring, Jiawei Han, Ryen W. White, Sujay Kumar Jauhar

分类: cs.AI, cs.CL

发布日期: 2026-09-28

备注: Code: https://github.com/microsoft/ai_night_scientist Website: https://pkargupta.github.io/night_scientist.html

💡 一句话要点

提出AI Night-Scientist以增强科学创意的多样性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 科学创意 强化学习 多样性提升 创新性 语义指导 研究方向

📋 核心要点

  1. 现有的大型语言模型在开放式科学创意中表现不足，输出往往同质化，缺乏多样性。
  2. 论文提出AI Night-Scientist框架，利用强化学习引导模型在科学创意中探索更广泛的可能性。
  3. 实验结果显示，该方法使科学提案的多样性提升27.8%，引用影响力提高32.0个百分点，原创性提升66.2点。

📝 摘要（中文）

大型语言模型（LLMs）在结构化、可验证的任务中表现出色，但其低熵偏见导致输出同质化，限制了其在开放式科学创意中的应用。有效的发现需要跨越更广泛的创意谱系，论文提出了AI Night-Scientist，一个基于强化学习的框架，旨在教会模型何时以及如何偏离可预测的推理。通过在三个维度上建模创造力，研究表明该方法显著提高了科学提案的多样性和引用影响力，推动了研究方向的扩展。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在科学创意生成中的同质化问题，现有方法无法有效支持开放式探索。

核心思路：通过强化学习引导模型在创意生成中进行更自由的探索，鼓励模型偏离常规推理，增强创造力。

技术框架：整体框架包括三个主要模块：行动（如何创意）、过程（何时探索与利用）和结果（创意的创新性与实用性）。通过GRPO训练模型，逐步引导其适应不同的创造力形式。

关键创新：最重要的创新在于将创造力视为可学习的多层次能力，并通过语义指导明确创意追求的方向，区别于单纯提高解码温度的方法。

关键设计：在训练过程中，模型接受不同程度和形式的创造力训练，关键参数和损失函数设计旨在最大化创意的多样性和实用性。具体的网络结构和训练策略未详细披露，属于未知领域。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，AI Night-Scientist框架显著提升了科学提案的多样性，研究方向扩展27.8%，贡献类型增加14.9%。此外，引用影响力提高了32.0个百分点，原创性提升66.2点，显示出该方法的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括科学研究、技术创新和创意产业等。通过增强模型的创造力，研究人员可以探索更广泛的研究方向，推动科学发现和技术进步，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) excel at structured, verifiable tasks, but their low-entropy bias can produce homogeneous and predictable outputs, limiting their utility for open-ended scientific ideation. Effective discovery, however, spans a broader creative spectrum: from structured day science to loosely structured, serendipitous night science that reaches ideas beyond those typically considered. We introduce AI Night-Scientist, an agentic framework that uses reinforcement learning to teach models when and how to depart from predictable reasoning. Grounded in cognitive science, we model creativity along three axes: action (what to do and how creatively), process (when to explore versus exploit), and outcome (the novelty and usefulness of the resulting idea). We use these axes to train models with GRPO, exposing them to varying degrees and forms of creativity throughout training. This produces substantially more diverse scientific proposals, expanding the range of research directions by 27.8% and contribution types by 14.9% over the base model. It also improves predicted citation impact by up to 32.0 percentage points and originality by 66.2 points. These gains cannot be reproduced by simply increasing decoding temperature; instead, we find that semantic guidance specifying what kind of creativity to pursue is critical. Overall, our results suggest that creativity is a learnable, multi-level ability that can be shaped to help researchers reach ideas beyond those typically explored by LLMs.