When Does a Second Model Help? Cross-Model Review in LLM Verification
作者: Tae-Eun Song
分类: cs.CL, cs.AI, cs.SE
发布日期: 2026-10-01
备注: 15 pages, 2 figures, 6 tables. Follow-up to arXiv:2603.12123 and arXiv:2603.21454
💡 一句话要点
提出跨模型审查方法以提升大型语言模型的验证效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 模型验证 跨模型审查 错误识别 控制实验 统计分析
📋 核心要点
- 现有的审查方法在不同模型之间的独立性和有效性尚未得到充分验证，导致审查效果不理想。
- 本文通过控制实验探讨了不同模型的二次审查对错误识别的影响，旨在提高审查的准确性。
- 实验结果表明，结合不同模型的审查能够识别更多的错误，尤其是在特定条件下表现优于同模型审查。
📝 摘要（中文）
大型语言模型如今能够生成代码、文档和分析，并越来越多地用于审查这些输出。本文探讨了不同模型的二次审查在何种情况下能够提供帮助。通过控制实验，研究了30个带有150个植入错误的工件、10种审查条件和900个审查会话，使用来自两个开发者的三种审查模型。实验结果显示，顶级跨模型审查者与同模型审查在F1分数上没有显著差异，但两者发现的错误部分不同；在两次审查调用中，结合一次跨模型审查和一次同模型审查的组合能够识别更多的植入错误。最终，研究结果为模型独立性提供了新的见解。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在生成代码和文档时的审查效果不足的问题，特别是不同模型之间的审查独立性未得到充分验证。
核心思路：通过设计控制实验，比较不同模型的审查效果，探讨在何种情况下二次审查能够提升错误识别率。
技术框架：实验包括30个工件和150个植入错误，设置了10种审查条件，使用三种不同的审查模型进行900个审查会话，确保数据的多样性和可靠性。
关键创新：研究首次系统性地比较了同模型审查与跨模型审查的效果，揭示了模型间的错误识别差异，为模型选择提供了实证依据。
关键设计：实验中采用了Holm调整的p值进行统计分析，确保结果的显著性，同时对审查会话进行了全面审核，排除了不确定的基线运行和失败调用。实验结果的可靠性得到了增强。
🖼️ 关键图片
📊 实验亮点
实验结果显示，结合一次跨模型审查和一次同模型审查的组合能够识别56.7%的植入错误，相较于两次同模型审查的42.7%有显著提升（Holm调整p=.006）。此外，顶级跨模型审查者与同模型审查在F1分数上没有显著差异，但发现的错误部分不同，提供了新的研究视角。
🎯 应用场景
该研究的潜在应用领域包括软件开发、文档生成和代码审查等场景，能够帮助开发者更有效地识别和修复错误，提高生成内容的质量。未来，该方法可能在其他领域的模型验证中得到推广，提升自动化审查的准确性和可靠性。
📄 摘要（原文）
Large language models now generate code, documentation, and analyses, and are increasingly used to review such output. We ask when a second review by a different model helps. Building on the author's earlier preprints, which varied context, repetition, and role structure within one model, we test model independence in a controlled experiment: 30 artifacts with 150 planted errors, 10 review conditions, and 900 review sessions with three reviewer models from two developers. In this experiment, (1) a top-tier cross-model reviewer is not significantly different in F1 from same-model review in a fresh session (CCR), which does not establish equivalence; (2) the two find partly different errors (Jaccard 41.2%); and (3) at two review calls, one CCR plus one cross-model review matches more planted errors than two CCR reviews (56.7% vs. 42.7%; Holm-adjusted p=.006), but not significantly more than two reviews by the top-tier cross-model reviewer, so model difference and reviewer capability are not separated. A lightweight cross-model reviewer scores no higher than same-model review. Withholding requirements from the reviewer raises F1 for the two lower tiers but not the top tier, in untested point estimates whose pattern depends on how failed sessions are scored. Before analysis we audited all session records, excluding one baseline run of uncertain provenance and 14 failed calls; results with all sessions are also reported. A partial check on public detector outputs from another benchmark neither replicates nor contradicts the main comparison. Records, artifacts, and scripts are available from the author on request.