Assembling the CREW: A Collaborative Multi-agent Reinforcement Learning Framework for Automated Related Work Generation
作者: Hai-Dang Dang, Bao-Yen Pham, Bao Nguyen, Tran Thi Huong, Huynh Thi Thanh Binh
分类: cs.LG
发布日期: 2026-09-14
🔗 代码/项目: GITHUB
💡 一句话要点
提出CREW框架以解决自动相关工作生成中的协作问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动相关工作生成 多智能体协作 强化学习 大型语言模型 动态协调 科研辅助工具
📋 核心要点
- 现有的多智能体大型语言模型方法依赖于固定的工作流程，导致协作能力不足，难以处理复杂文献。
- CREW框架通过动态协调和自主选择动作，打破了传统的启发式管道限制，提升了智能体的协作效率。
- 实验结果显示，CREW在RWG基准测试中显著提高了生成质量，并降低了计算成本，具有良好的实用性。
📝 摘要（中文）
自动相关工作生成（RWG）显著减少了撰写研究论文相关工作部分所需的人力时间和精力。然而，现有方法通常依赖于预定义的工作流程，导致多智能体之间的协调过于僵化，限制了对复杂科学文献的自适应协作。为了解决这一问题，本文提出了CREW（协作强化学习框架），该框架允许大型语言模型（LLM）智能体动态协调，通过自主选择检索、传播、撰写和评论等动作，优化策略采用独立近端策略优化（IPPO）。在标准RWG基准上的大量实验表明，所提方法在质量上显著优于现有强基线，同时显著降低了令牌成本。
🔬 方法详解
问题定义：本文旨在解决现有自动相关工作生成方法中多智能体协作的僵化问题。现有方法通常依赖于预定义的工作流程，导致智能体之间的协调能力不足，无法有效处理复杂的科学文献。
核心思路：CREW框架的核心思路是通过强化学习实现智能体之间的动态协作，智能体能够自主选择检索、传播、撰写和评论等动作，从而提高生成的灵活性和适应性。
技术框架：CREW框架包含多个智能体，每个智能体通过独立近端策略优化（IPPO）来优化其策略。整个流程包括智能体的动作选择、信息共享和结果整合，形成一个协作生成的闭环。
关键创新：CREW的主要创新在于打破了传统的启发式管道，通过动态的智能体协作来提升生成质量。这种方法与现有方法的本质区别在于其灵活性和自适应能力。
关键设计：在设计上，CREW框架采用了独立近端策略优化算法，确保智能体能够在动态环境中有效学习。同时，设置了合理的损失函数以平衡生成质量和计算成本，优化了智能体之间的信息传递机制。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CREW框架在标准RWG基准测试中显著提高了生成质量，相较于强基线方法，生成质量提升幅度达到了XX%（具体数据未知），同时令牌成本显著降低，展示了其在实际应用中的优势。
🎯 应用场景
该研究的潜在应用领域包括学术论文撰写、文献综述生成和科研辅助工具等。通过自动化相关工作生成，研究人员可以节省大量时间，专注于研究内容的创新与发展。未来，该框架可能会扩展到其他领域，如教育、内容创作和信息检索等，具有广泛的实际价值和影响力。
📄 摘要（原文）
Automatic Related Work Generation (RWG) significantly reduces the human time and effort required to author the Related Work Section (RWS) of a research paper. However, prior methods leveraging multi-agent Large Language Models (LLMs) typically rely on a predefined workflow, where each agent is responsible for a specific step in the entire process. This rigid, static inter-agent coordination limits the adaptive collaboration required to synthesize complex scientific literature. To address this limitation, we propose CREW (Collaborative Reinforcement Learning for Related Work Generation), a novel framework where LLM agents bypass heuristic pipelines to dynamically coordinate by autonomously selecting actions, such as Retrieve, Disseminate, Compose, and Critique, driven by a policy optimized via Independent Proximal Policy Optimization (IPPO). Extensive experiments on a standard RWG benchmark demonstrate that our approach yields substantial quality improvements over strong existing baselines, while significantly reducing token costs. Code is available at https://github.com/YenPBao/CREW-Collaborative-MARL.git