When AI Reviews Train AI Reviewers: Scientific-Judgment Collapse and Mitigation
作者: Sy-Tuyen Ho, Minghui Liu, Furong Huang
分类: cs.LG
发布日期: 2026-09-17
备注: Under Review
💡 一句话要点
提出TrustReviewer以解决科学评审中的判断崩溃问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 科学评审 大型语言模型 判断崩溃 TrustReviewer 自动评审 机器学习 语义多样性
📋 核心要点
- 当前AI评审系统面临科学判断崩溃的问题，合成评审导致评分分布压缩与语义多样性降低。
- 提出TrustReviewer系统，通过训练时的优质数据选择和测试时的激活引导来解决判断崩溃问题。
- 实验结果表明，TrustReviewer有效提高了评审的多样性和一致性，减少了低质量评审的影响。
📝 摘要（中文）
大型语言模型（LLMs）在科学评审中扮演着越来越重要的角色，既作为自动评审者，也作为人类评审者的助手。然而，模型生成的评审可能导致后续评审者学习到早期模型的判断，从而形成递归反馈循环。本文研究了这一反馈循环中的一个环节，通过对Llama 3.1 8B进行微调，并在不同的合成评审混合下训练后续模型，发现合成评审会压缩评分分布，降低语义多样性，称之为科学判断崩溃。为此，提出了开源的TrustReviewer系统，通过训练时预防和测试时修正两个阶段来缓解这一问题，旨在保持评审判断的多样性和提高推荐的一致性。
🔬 方法详解
问题定义：本文旨在解决AI评审中出现的科学判断崩溃现象，现有方法在合成评审的影响下，评分分布变得过于集中，语义多样性显著降低，导致评审质量下降。
核心思路：论文提出TrustReviewer系统，旨在通过优化训练数据和评审过程，减少低质量评审的影响，保持评审判断的多样性。通过在训练阶段选择优质数据和在测试阶段进行激活引导，来修正模型的判断倾向。
技术框架：TrustReviewer系统包括两个主要模块：训练时的核心评审者训练和测试时的激活引导。训练阶段使用精心策划的语料库，以减少低质量监督；测试阶段则通过激活引导来修正模型的判断。
关键创新：最重要的创新在于引入了训练时预防和测试时修正的双重机制，显著不同于传统的单一训练方法，能够有效应对递归评审中的判断崩溃问题。
关键设计：在训练阶段，使用了针对性的语料库设计，确保高质量的监督信号；在测试阶段，采用了配对激活引导技术，旨在进一步减少模型的判断崩溃倾向，且无需额外的训练或专家标注。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TrustReviewer系统有效减少了合成评审对评分分布的压缩，提升了评审的语义多样性。与基线模型相比，评审的一致性和质量显著提高，具体性能数据尚未披露。
🎯 应用场景
该研究的潜在应用领域包括AI和机器学习领域的论文评审、学术期刊的自动评审系统以及科研项目的评估。TrustReviewer的设计可以提高评审的质量和多样性，促进科学研究的公正性与透明度，未来可能对学术界的评审流程产生深远影响。
📄 摘要（原文）
Large language models (LLMs) increasingly participate in scientific evaluation, both as automated reviewers and as assistants to human reviewers. As model-generated reviews enter public data and future training corpora, AI peer review can become recursive: later reviewers learn from judgments produced by earlier models. We study one step of this feedback loop in a controlled setting. Starting from Llama 3.1 8B, we first fine-tune a reviewer on official ICLR reviews from 2018--2023 and then train four successor models on ICLR 2024 data with systematically varied mixtures of official and model-generated reviews. Our study shows that introducing synthetic reviews compresses rating distributions and reduces both same-paper and corpus-level semantic diversity. We call this pattern $\textbf{scientific-judgment collapse}$. To mitigate this failure mode, we introduce $\textbf{TrustReviewer}$, an open-source LLM-based system for generating peer reviews of AI and machine learning papers. TrustReviewer intervenes at two complementary stages. For training-time prevention, we train the core reviewer in a single stage on a curated corpus designed to reduce low-quality and semantically degenerate supervision. For test-time correction, paired activation steering aims to further mitigate residual tendencies toward collapsed judgments without further training or additional expert annotation. Together, these results characterize a concrete risk of recursive reviewer training and provide practical interventions for preserving judgment diversity and improving recommendation alignment in AI-assisted scientific evaluation.