CycleResearcher: Improving Automated Research via Automated Review

📄 arXiv: 2411.00816v3 📥 PDF

作者: Yixuan Weng, Minjun Zhu, Guangsheng Bao, Hongbo Zhang, Jindong Wang, Yue Zhang, Linyi Yang

分类: cs.CL, cs.AI, cs.CY, cs.LG

发布日期: 2024-10-28 (更新: 2025-03-08)

备注: Accept in ICLR 2025

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

CycleResearcher：通过自动化评审改进自动化研究

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动化研究 大型语言模型 同行评审 强化学习 开源模型 科学发现 迭代训练

📋 核心要点

  1. 现有方法依赖商业LLM，成本高昂且不够透明，缺乏对开源LLM在自动化科研流程中潜力的充分探索。
  2. 提出CycleResearcher框架，利用开源LLM作为自主代理，完成从文献综述到同行评审的完整研究周期。
  3. CycleReviewer在模拟同行评审中表现出色，MAE降低26.89%，CycleResearcher生成的论文在模拟评审中达到预印本水平。

📝 摘要（中文）

科学发现的自动化一直是研究界长期以来的目标，其驱动力在于加速知识创造的潜力。虽然使用商业大型语言模型（LLM）作为研究助手或想法生成器已经取得了显著进展，但使用开源LLM自动化整个研究过程的可能性在很大程度上仍未被探索。本文探讨了使用开源的后训练LLM作为自主代理的可行性，这些代理能够执行自动化研究和评审的完整周期，从文献综述和稿件准备到同行评审和论文改进。我们的迭代偏好训练框架包括CycleResearcher（执行研究任务）和CycleReviewer（模拟同行评审过程，通过强化学习提供迭代反馈）。为了训练这些模型，我们开发了两个新的数据集Review-5k和Research-14k，反映了真实的机器学习研究和同行评审动态。结果表明，CycleReviewer在预测论文分数方面，与单个人工评审员相比，平均绝对误差（MAE）降低了26.89％，表明LLM有潜力有效地协助专家级研究评估。在研究方面，CycleResearcher模型生成的论文在模拟同行评审中获得了5.36分，与人类专家提供的预印本水平5.24分相比，在模拟评审得分方面显示出一定的竞争力，但与已接受论文的5.69分相比仍有改进空间。这项工作代表了迈向完全自动化科学探究的重要一步，提供了伦理保障并探索了AI驱动的研究能力。代码、数据集和模型权重已在https://wengsyx.github.io/Researcher/上发布。

🔬 方法详解

问题定义：论文旨在解决如何利用开源大型语言模型（LLM）实现科研流程的自动化问题。现有方法主要依赖于商业LLM，存在成本高、可控性差、透明度低等问题，并且缺乏对开源LLM在自动化科研流程中潜力的充分探索。因此，如何构建一个基于开源LLM的自动化科研框架，使其能够完成从文献综述、论文撰写到同行评审的完整流程，是本文要解决的核心问题。

核心思路：论文的核心思路是构建一个迭代的偏好训练框架，该框架包含两个主要组成部分：CycleResearcher和CycleReviewer。CycleResearcher负责执行研究任务，生成论文；CycleReviewer负责模拟同行评审过程，对CycleResearcher生成的论文进行评估并提供反馈。通过强化学习，CycleResearcher根据CycleReviewer的反馈不断改进，从而实现科研能力的提升。这种循环迭代的方式模拟了真实的科研过程，使得模型能够逐步学习和优化。

技术框架：整体框架包含两个主要模块：CycleResearcher和CycleReviewer。CycleResearcher负责执行研究任务，包括文献综述、实验设计、论文撰写等。CycleReviewer负责模拟同行评审过程，对CycleResearcher生成的论文进行评估，并给出打分和评审意见。两个模块通过强化学习进行交互，CycleResearcher根据CycleReviewer的反馈调整策略，CycleReviewer则根据CycleResearcher的生成结果不断学习和改进评审标准。此外，论文还构建了两个新的数据集Review-5k和Research-14k，用于训练CycleResearcher和CycleReviewer。

关键创新：论文的关键创新在于提出了一个基于开源LLM的自动化科研框架，该框架能够完成从文献综述到同行评审的完整流程。与现有方法相比，该框架具有成本低、可控性强、透明度高等优点。此外，论文还提出了一个迭代的偏好训练方法，通过模拟真实的科研过程，使得模型能够逐步学习和优化。

关键设计：CycleResearcher和CycleReviewer均采用后训练的开源LLM作为基础模型。CycleResearcher使用强化学习进行训练，目标是最大化CycleReviewer给出的评分。CycleReviewer使用监督学习进行训练，目标是准确预测人工评审员给出的评分。论文还设计了特定的奖励函数和损失函数，以保证训练的稳定性和有效性。数据集Review-5k和Research-14k的构建也至关重要，它们提供了模型训练所需的真实数据。

🖼️ 关键图片

img_0

📊 实验亮点

CycleReviewer在预测论文分数方面，与单个人工评审员相比，平均绝对误差（MAE）降低了26.89％，表明LLM有潜力有效地协助专家级研究评估。CycleResearcher模型生成的论文在模拟同行评审中获得了5.36分，与人类专家提供的预印本水平5.24分相比，在模拟评审得分方面显示出一定的竞争力，但与已接受论文的5.69分相比仍有改进空间。

🎯 应用场景

该研究成果可应用于多个领域，例如加速新药研发、优化算法设计、辅助科学研究等。通过自动化科研流程，可以大幅缩短研究周期，降低研究成本，并提高研究效率。此外，该研究还有助于推动人工智能在科学研究领域的应用，为未来的科学发现提供新的思路和方法。

📄 摘要（原文）

The automation of scientific discovery has been a long-standing goal within the research community, driven by the potential to accelerate knowledge creation. While significant progress has been made using commercial large language models (LLMs) as research assistants or idea generators, the possibility of automating the entire research process with open-source LLMs remains largely unexplored. This paper explores the feasibility of using open-source post-trained LLMs as autonomous agents capable of performing the full cycle of automated research and review, from literature review and manuscript preparation to peer review and paper refinement. Our iterative preference training framework consists of CycleResearcher, which conducts research tasks, and CycleReviewer, which simulates the peer review process, providing iterative feedback via reinforcement learning. To train these models, we develop two new datasets, Review-5k and Research-14k, reflecting real-world machine learning research and peer review dynamics. Our results demonstrate that CycleReviewer achieves promising performance with a 26.89\% reduction in mean absolute error (MAE) compared to individual human reviewers in predicting paper scores, indicating the potential of LLMs to effectively assist expert-level research evaluation. In research, the papers generated by the CycleResearcher model achieved a score of 5.36 in simulated peer reviews, showing some competitiveness in terms of simulated review scores compared to the preprint level of 5.24 from human experts, while still having room for improvement compared to the accepted paper level of 5.69. This work represents a significant step toward fully automated scientific inquiry, providing ethical safeguards and exploring AI-driven research capabilities. The code, dataset and model weight are released at https://wengsyx.github.io/Researcher/.