EGTR-Review: Efficient Evidence-Grounded Scientific Peer Review Generation via Multi-Agent Teacher Distillation
作者: Xinpeng Qiu, Wang Yihu, Zhifeng Liu, Xiaochen Wang, Jimin Wang
分类: cs.CL, cs.AI
发布日期: 2026-06-04
💡 一句话要点
提出EGTR-Review以解决科学同行评审生成中的证据支持不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 同行评审生成 证据基础 多代理系统 教师蒸馏 模型蒸馏 自然语言处理 学术评审 推理优化
📋 核心要点
- 现有的同行评审生成方法往往缺乏足够的证据支持，导致生成的评论质量低下，且源追溯性差。
- EGTR-Review通过构建多代理教师，进行论文结构感知分解和证据检索，提升评审生成的质量和效率。
- 实验结果显示，EGTR-Review在多项评估中超越了现有的基线方法，且在推理时间和资源消耗上表现优异。
📝 摘要（中文）
科学同行评审生成逐渐受到关注，以减轻评审负担并提供及时反馈。然而，现有基于大型语言模型的方法常常生成缺乏证据支持和源追溯的通用评论，而复杂的多代理系统则导致高推理成本。为了解决这些挑战，本文提出了EGTR-Review，一个通过多代理教师蒸馏的证据基础和可追溯的评审生成框架。EGTR-Review首先构建一个多代理教师，执行结构感知的论文分解、关键元素提取、外部学术证据检索、证据状态标注、验证推理和评审综合。然后，通过任务前缀驱动的多任务学习，将中间推理轨迹和最终评审评论蒸馏到轻量级学生模型中。实验结果表明，EGTR-Review在多个自动指标、LLM评估和人工评估中均优于强基线，同时保持强大的事实基础和源追溯，显著降低了令牌消耗和推理时间。
🔬 方法详解
问题定义：本文旨在解决科学同行评审生成中存在的证据支持不足和源追溯性差的问题。现有方法通常生成的评论过于通用，缺乏针对性和深度，且复杂的多代理系统导致推理成本高昂。
核心思路：EGTR-Review的核心思路是通过构建一个多代理教师系统，进行结构感知的论文分解和证据检索，从而生成更具针对性和证据支持的评审评论。通过蒸馏技术，将复杂的推理过程简化为轻量级的学生模型，提升生成效率。
技术框架：EGTR-Review的整体架构包括多个主要模块：首先是多代理教师，负责论文的结构分解和关键元素提取；其次是外部证据的检索和验证推理；最后是评审评论的综合生成。整个过程通过任务前缀驱动的多任务学习进行优化。
关键创新：最重要的技术创新在于引入了证据加权目标，以减少弱、缺失或不可验证监督的影响。这一设计使得生成的评审评论在质量和可靠性上有了显著提升。
关键设计：在模型设计中，采用了多任务学习策略，结合了中间推理轨迹的蒸馏和最终评论的生成。同时，损失函数的设计考虑了证据的权重，确保生成的评论能够真实反映论文的质量和相关性。
🖼️ 关键图片
📊 实验亮点
在实验中，EGTR-Review（学生模型）在多个公共同行评审数据集上表现优异，超越了强大的基于提示、微调和结构/代理基线，且在自动指标、LLM评估和人工评估中均显示出显著的性能提升，推理时间和令牌消耗显著降低。
🎯 应用场景
EGTR-Review的研究成果在科学出版、学术评审和教育等领域具有广泛的应用潜力。通过提高评审生成的质量和效率，该框架能够帮助学术界减轻评审负担，提升学术交流的及时性和有效性。未来，该技术还可能扩展到其他需要文本生成和评估的领域，如自动化内容审核和智能写作助手。
📄 摘要（原文）
Scientific peer review generation has attracted increasing attention for reducing reviewing burdens and providing timely feedback. However, existing Large Language Model (LLM)-based methods often produce generic comments with insufficient evidence support and weak source traceability, while complex multi-agent systems incur high inference costs. To address these challenges, we propose EGTR-Review, an Evidence-Grounded and Traceable Review Generation framework via Multi-Agent Teacher Distillation. EGTR-Review first constructs a multi-agent teacher that performs structure-aware paper decomposition, key-element extraction, external scholarly evidence retrieval, evidence-state labeling, verification reasoning, and review synthesis. It then distills both intermediate reasoning trajectories and final review comments into a lightweight student model through task-prefix-driven multi-task learning. An evidence-weighted objective further reduces the influence of weak, missing, or non-verifiable supervision. Experiments on public peer-review datasets show that EGTR-Review (Student) outperforms strong prompt-based, fine-tuned, and structured/agentic baselines across automatic metrics, LLM-as-Judge evaluation, and human evaluation, while maintaining strong factual grounding and source traceability with substantially lower token consumption and inference time. Our code, prompts, configurations, and sample data are available on GitHub.