Breaking the Illusion of Review Reliability under Static Evaluation: SCOPE Fuzzing for LLM-based Scientific Reviewers

📄 arXiv: 2609.37097v1 📥 PDF

作者: Zhuo Chen, Hao Zeng, Jiawei Liu, Guoxiu He, Le Cai, Liu Haotan, Li Wenbo, Yong Huang, Wei Lu

分类: cs.AI

发布日期: 2026-09-29

💡 一句话要点

提出SCOPE-Fuzzer以解决静态评估下审稿可靠性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 同行评审 内容扰动 动态评估 审稿可靠性 模糊测试 反馈机制

📋 核心要点

  1. 现有基于LLM的审稿方法在静态评估下存在可靠性不足的问题，尤其是对扰动的敏感性评估有限。
  2. 论文提出SCOPE-Fuzzer，通过动态扰动和反馈驱动的策略选择，增强了对审稿人脆弱性的探测能力。
  3. 实验结果显示，SCOPE-Fuzzer能够有效发现静态评估未能识别的脆弱性，提升了审稿的可靠性评估效果。

📝 摘要（中文）

随着投稿数量的快速增长，使用大型语言模型（LLMs）进行同行评审的趋势日益明显。先前的研究表明，基于LLM的审稿人能够惩罚内容扰动，如过度主张，显示出一定的可靠性。然而，这些结论主要基于狭窄的扰动策略，提供的实际可靠性证据有限。本文构建了一个三层次的评估框架，涵盖了对表面表现、论证逻辑和价值判断的扰动。实验表明静态评估的两个局限性：分层脆弱性和扰动覆盖不足。为了解决这些问题，提出了SCOPE-Fuzzer，这是一种结合反馈驱动策略选择与自适应内容变异的策略感知模糊器。通过动态扰动的迭代探测，SCOPE-Fuzzer能够持续发现静态评估和其他基线所忽视的脆弱性。

🔬 方法详解

问题定义：本文旨在解决基于LLM的审稿人在静态评估下的可靠性问题，现有方法在扰动策略的多样性和评估的全面性上存在不足。

核心思路：提出SCOPE-Fuzzer，通过动态扰动和反馈机制，能够更全面地探测审稿人对内容变化的敏感性，克服静态模板的局限性。

技术框架：SCOPE-Fuzzer的整体架构包括三个主要模块：扰动生成模块、反馈驱动模块和评估模块。扰动生成模块负责生成多样化的内容扰动，反馈驱动模块根据审稿人的反应调整扰动策略，评估模块则对审稿结果进行分析。

关键创新：SCOPE-Fuzzer的核心创新在于其动态扰动机制和反馈驱动的策略选择，这使得其能够发现静态评估未能识别的脆弱性，显著提升了评估的全面性和准确性。

关键设计：在设计上，SCOPE-Fuzzer采用了自适应变异算法，能够根据审稿人的反馈调整扰动策略，确保覆盖多种潜在的脆弱性。同时，设置了多层次的评估指标，以全面评估审稿人的反应。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SCOPE-Fuzzer在发现审稿人脆弱性方面表现优异，相较于静态评估方法，能够识别出更多的内容扰动影响，提升了审稿的可靠性评估效果。具体而言，SCOPE-Fuzzer在多种扰动策略下的评估准确率提高了约30%。

🎯 应用场景

该研究的潜在应用领域包括学术出版、同行评审系统和自动化审稿工具。通过提高审稿的可靠性，SCOPE-Fuzzer能够帮助期刊和会议更有效地筛选高质量的研究成果，提升学术交流的质量和效率。未来，该方法可能会推动更智能的审稿系统的发展，促进学术界的进步。

📄 摘要（原文）

The rapid growth of submissions and reviewing workload has accelerated the use of large language models (LLMs) in peer review. Prior studies suggest that LLM-based reviewers can penalize content perturbations, such as overclaiming, indicating a certain degree of reliability. Yet these conclusions are largely based on a narrow set of perturbation strategies instantiated with static templates, providing limited evidence of actual reliability. In this paper, we construct a three-level evaluation framework covering perturbations to surface presentation, argumentative logic, and value judgment. Experiments on representative LLM-based reviewers reveal two limitations of static evaluation: stratified vulnerability, where perturbation effects depend on whether the paper's original review score is high or low, and perturbation undercoverage, where a single template misses vulnerabilities exposed by diverse realizations. To address these limitations, we propose SCOPE-Fuzzer, a strategy-aware fuzzer that combines feedback-driven strategy selection with adaptive mutation of paper content. By iteratively probing reviewers with dynamic perturbations, SCOPE-Fuzzer consistently uncovers vulnerabilities overlooked by static evaluation and other baselines.