ResearchTown: Simulator of Human Research Community
作者: Haofei Yu, Zhaochen Hong, Zirui Cheng, Kunlun Zhu, Keyang Xuan, Jinwei Yao, Tao Feng, Jiaxuan You
分类: cs.CL, cs.LG
发布日期: 2024-12-23 (更新: 2025-06-06)
备注: 9 pages, ICML 2025
💡 一句话要点
提出ResearchTown，用于模拟人类研究社区，助力科学发现和创新。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 研究社区模拟 多智能体系统 图神经网络 文本推理 科学发现
📋 核心要点
- 现有方法难以模拟人类研究社区，阻碍了对科研过程的深入理解和新发现的自动生成。
- ResearchTown将研究社区建模为智能体-数据图，利用TextGNN进行研究活动的模拟和推理。
- ResearchBench基准测试表明，ResearchTown能有效模拟协作研究，并产生有潜力的跨学科想法。
📝 摘要（中文）
大型语言模型(LLMs)在科学领域展现出卓越潜力，但一个根本问题仍未解决：我们能否用LLMs模拟人类研究社区？解决此问题能加深我们对头脑风暴过程的理解，并启发新颖科学见解的自动发现。本文提出ResearchTown，一个用于研究社区模拟的多智能体框架。该框架将人类研究社区简化为智能体-数据图，研究者和论文分别表示为智能体类型和数据类型节点，并基于合作关系连接。我们还引入TextGNN，一个基于文本的推理框架，将各种研究活动（如论文阅读、论文写作和评审写作）建模为智能体-数据图上统一消息传递过程的特殊形式。为评估研究社区模拟的质量，我们提出了ResearchBench，一个使用节点掩码预测任务的基准，用于基于相似性进行可扩展和客观的评估。实验揭示了三个关键发现：(1) ResearchTown可以提供对协作研究活动的真实模拟，包括论文写作和评审写作；(2) ResearchTown可以在多个研究人员和多样化论文的情况下保持稳健的模拟；(3) ResearchTown可以产生跨学科的研究想法，可能启发开创性的研究方向。
🔬 方法详解
问题定义：现有方法难以有效模拟人类研究社区的复杂交互，无法捕捉研究人员之间的合作关系、知识传递和创新过程。这限制了我们对科研本质的理解，也阻碍了利用AI自动发现新科学知识。
核心思路：将研究社区抽象为智能体-数据图，其中研究人员和论文分别作为智能体节点和数据节点。通过模拟研究人员之间的合作、论文的阅读和写作等活动，来重现研究社区的动态过程。核心在于利用图神经网络来建模这些复杂的交互关系。
技术框架：ResearchTown框架包含以下几个主要模块：1) 智能体-数据图构建：基于研究人员的合作关系和论文引用关系构建图结构。2) TextGNN推理：利用TextGNN在图上进行消息传递，模拟研究活动的发生。TextGNN将论文阅读、论文写作和评审写作等活动统一建模为消息传递过程。3) ResearchBench评估：使用节点掩码预测任务，通过比较预测结果和真实情况的相似度来评估模拟的质量。
关键创新：TextGNN是关键创新点，它将各种研究活动统一建模为智能体-数据图上的消息传递过程。这种统一的建模方式使得框架能够灵活地模拟不同的研究场景，并捕捉研究人员之间的复杂交互关系。此外，ResearchBench提供了一个可扩展和客观的评估方法，使得研究社区模拟的质量能够得到有效评估。
关键设计：TextGNN使用Transformer编码器来处理文本信息，并利用图神经网络进行消息传递。消息传递过程包括消息生成、消息聚合和节点更新三个步骤。损失函数的设计目标是最小化预测节点和真实节点之间的差异。具体参数设置（如Transformer层数、GNN层数、学习率等）需要根据具体数据集进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ResearchTown能够有效地模拟协作研究活动，包括论文写作和评审写作。在多个研究人员和多样化论文的情况下，ResearchTown能够保持稳健的模拟。此外，ResearchTown还能生成跨学科的研究想法，这些想法可能启发开创性的研究方向。ResearchBench评估结果表明，ResearchTown的模拟结果与真实情况具有较高的相似度。
🎯 应用场景
ResearchTown可应用于科学研究的多个领域，例如：辅助科研人员进行头脑风暴，加速新研究方向的发现；模拟不同科研政策的影响，为政策制定提供参考；构建虚拟科研环境，用于培训科研人员。该研究有助于更深入地理解科研过程，并最终加速科学发现。
📄 摘要（原文）
Large Language Models (LLMs) have demonstrated remarkable potential in scientific domains, yet a fundamental question remains unanswered: Can we simulate human research communities with LLMs? Addressing this question can deepen our understanding of the processes behind idea brainstorming and inspire the automatic discovery of novel scientific insights. In this work, we propose ResearchTown, a multi-agent framework for research community simulation. Within this framework, the human research community is simplified as an agent-data graph, where researchers and papers are represented as agent-type and data-type nodes, respectively, and connected based on their collaboration relationships. We also introduce TextGNN, a text-based inference framework that models various research activities (e.g., paper reading, paper writing, and review writing) as special forms of a unified message-passing process on the agent-data graph. To evaluate the quality of the research community simulation, we present ResearchBench, a benchmark that uses a node-masking prediction task for scalable and objective assessment based on similarity. Our experiments reveal three key findings: (1) ResearchTown can provide a realistic simulation of collaborative research activities, including paper writing and review writing; (2) ResearchTown can maintain robust simulation with multiple researchers and diverse papers; (3) ResearchTown can generate interdisciplinary research ideas that potentially inspire pioneering research directions.