CABAL: Multi-Agent Simulacra for Tracing the Effects of Collusive Bidding in Peer Review
作者: Jicheng Zhou, Kemou Li, Kahim Wong, Zheyuan Li, Zhuan Shi, Fengpeng Li, Haiwei Wu, Jiantao Zhou
分类: cs.AI
发布日期: 2026-09-04
💡 一句话要点
提出CABAL框架以研究同行评审中的串通竞标问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 同行评审 串通竞标 多代理模拟 评审者分配 亲和力策略 大语言模型 实验研究
📋 核心要点
- 现有研究将竞标、评审者分配和评审操控视为独立阶段，未能揭示串通竞标的生命周期效应。
- 本文提出CABAL框架，通过固定会议环境，配置诚实或串通策略的评审者代理，研究评审者分配的完整性。
- 实验显示，串通竞标使目标论文的捕获率翻倍，且串通评审者对目标论文的评分显著高于诚实评审者。
📝 摘要（中文）
在AAAI-27评审周期中，报告指出评审者可能通过协调竞标来获得互惠分配优势。现有研究将竞标、评审者分配和评审操控视为独立阶段，未能清晰揭示串通竞标的生命周期效应。为填补这一空白，本文提出CABAL，一个端到端的多代理模拟框架，通过固定会议环境并配置基于大语言模型的评审者代理，研究评审者分配的完整性。我们进一步开发了一种基于亲和力的串通竞标策略，利用评审者与论文之间的亲和性构建串通环并选择目标论文。实验结果表明，串通竞标使目标论文的捕获率翻倍，且分配给串通者的评审者对目标论文的评分比诚实评审者高出约两分，而会议整体影响相对较小。
🔬 方法详解
问题定义：本文旨在解决同行评审中串通竞标对评审者分配完整性的影响，现有方法未能有效揭示这一问题的生命周期效应。
核心思路：CABAL框架通过固定会议环境，利用大语言模型驱动的评审者代理，模拟诚实与串通的评审策略，从而深入研究评审者分配的完整性。
技术框架：CABAL框架包括多个模块，首先固定会议环境，然后配置评审者代理，最后通过亲和力指导的串通竞标策略选择目标论文并构建串通环。
关键创新：本文的主要创新在于提出了一种基于亲和力的串通竞标策略，能够有效构建串通环并选择目标论文，区别于以往将各个阶段孤立处理的方法。
关键设计：在设计中，评审者代理的策略配置为诚实或串通，亲和力计算用于构建串通环，实验中采用了控制实验来验证串通竞标的效果。实验还评估了竞标阶段检测器的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，串通竞标使目标论文的捕获率超过了两倍，且分配给串通评审者的评分比诚实评审者高出约两分。此外，评估的竞标阶段检测器在识别串通方面的有效性有限，显示出在固定三元组检测器压力测试中的复杂性。
🎯 应用场景
CABAL框架可广泛应用于学术会议的评审过程，帮助识别和防范串通竞标行为，从而提高评审的公正性和透明度。未来，该研究可能对学术出版和同行评审的规范化产生深远影响。
📄 摘要（原文）
Recent reports during the AAAI-27 review cycle highlight the risk of reviewers coordinating bids for reciprocal assignment advantage. Prior work treats bidding, reviewer assignment, and review manipulation as separate stages, leaving the lifecycle effects of collusive bidding unclear. Real-world analysis is further constrained by typically unobservable collusive intent and the lack of counterfactuals for the same conference. Motivated by this gap, we introduce \alg, an end-to-end multi-agent simulacra framework for studying reviewer assignment integrity by holding the conference environment fixed and configuring LLM-driven reviewer agents with honest or collusive policies. We further develop an affinity-guided collusive bidding strategy that uses mutual reviewer-paper affinities to construct collusion rings and select target papers, producing expertise-consistent rather than arbitrarily targeted attacks. Controlled experiments show that collusive bidding more than doubles target-paper capture and that assigned colluders score target papers about two points higher than honest co-reviewers, while conference-wide effects remain comparatively modest. Evaluated bid-phase detectors provide only limited evidence of collusion: in a fixed-triplet detector stress test, native positive-bid graphs are confounded by benign affinity, while a Very-High-only diagnostic view enables precise but low-coverage local recovery.