Training Reasoning Models to Generate Diverse Scientific Ideas

📄 arXiv: 2610.22324v1 📥 PDF

作者: Manya Wadhwa, Pranav Narayanan Venkit, Hiroaki Hayashi, Yu Li, Tuhin Chakrabarty, Chien-Sheng Wu

分类: cs.CL

发布日期: 2026-10-15

备注: Code and Data at:https://github.com/ManyaWadhwa/diverge_ideation | Under Review

💡 一句话要点

提出基于强化学习的多样化科学创意生成模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 创意生成 强化学习 多样性 科学研究 文档驱动 创新性 评估机制

📋 核心要点

  1. 现有的创意生成方法主要关注单个创意的质量，忽视了创意之间的多样性，导致生成的创意缺乏创新性。
  2. 本研究提出了一种集合级强化学习目标，通过训练模型生成一组结构化的创意卡片，确保创意之间的差异性和高质量。
  3. 实验结果表明，训练后的8B模型在创意的综合效用上超过了现有的基线模型，并在专家评估中显示出更高的独特性。

📝 摘要（中文）

本研究关注于文档驱动的创意生成，旨在提升大型语言模型（LLMs）生成创意的多样性与质量。现有方法通常优化单个创意的质量，却忽视了创意之间的多样性。我们提出了一种基于集合级强化学习的训练方法，使模型在生成的创意集合中，确保每个创意不仅高质量且彼此明显不同。通过对8B模型的训练，我们的模型在创意的质量和多样性综合评估上超越了Claude Opus 4.8和GPT-6 Astra，并在专家评估中表现出更高的独特性。

🔬 方法详解

问题定义：本研究旨在解决现有大型语言模型在生成科学创意时缺乏多样性的问题。现有方法通常优化单个创意的质量，导致生成的创意相似度高，缺乏创新性。

核心思路：我们提出了一种基于集合级强化学习的训练方法，模型在生成创意时不仅关注每个创意的质量，还确保创意之间的明显差异。通过这种方式，模型能够生成多样化且高质量的创意集合。

技术框架：整体架构包括输入文档的处理、创意生成模块和集合评分机制。模型在一次生成中创建K个结构化的创意卡片，并通过集合评分机制对生成的创意进行联合评分。

关键创新：本研究的主要创新在于引入集合级强化学习目标，使模型在生成新创意时能够有效地避免与之前创意的重复，从而提升创意的多样性。与传统方法相比，这种设计显著提高了生成创意的独特性。

关键设计：在训练过程中，我们设计了特定的损失函数，强调创意之间的距离，以引导模型生成不同的创意。此外，模型的结构经过优化，以支持高效的创意生成和评分。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，我们的8B模型在创意的综合效用评估上超过了Claude Opus 4.8和GPT-6 Astra，显示出更高的质量和多样性。在与专家的评估中，我们的创意集合被认为与Claude Opus 4.8相当，但独特性略高。模型在执行概念验证实验时的成功率与Claude Opus 4.8相当，表明多样性提升未影响可执行性。

🎯 应用场景

该研究的潜在应用领域包括科学研究、创意写作和教育等。通过提升创意生成的多样性和质量，研究可以帮助科研人员更高效地探索新想法，推动创新。此外，该方法的成功应用可能会影响未来的智能创作工具和辅助决策系统。

📄 摘要（原文）

One of the first steps of a research pipeline is generating ideas. Large Language Models (LLMs) are increasingly used to automate this step, but most of this work optimizes the quality of individual ideas, while overlooking diversity. In our work, we study document-grounded ideation, focusing on increasing the diversity of LLM generated ideas and ensuring they are high quality. Given prior papers, a model must propose a set of ideas that are each high-quality and clearly distinct from one another, while also being grounded in the input documents. To optimize for this, we propose training with a set-level reinforcement learning objective. In our setup, in a single generation, the model writes K structured idea cards grounded in the source papers, and the set is scored jointly, where each idea's quality is weighted by its distance from the ideas written before it. This teaches the model to steer each new idea away from its predecessors. We show that our trained 8B model achieves higher creative utility (a measure combining quality and diversity) than Claude Opus 4.8 and GPT-6 Astra on our contamination-free benchmark. In a pilot human study with four experts, our sets are judged as promising as Claude Opus 4.8's and contain marginally more unique ideas. When a coding agent runs proof-of-concept experiments on the ideas, our model's success@k is comparable to Claude Opus 4.8's, so we see that the added diversity does not cost any executability.