How Much Were You Told? Measuring External Information in Peer Reviews
作者: Matthieu Dubois, Pablo Piantanida, François Yvon
分类: cs.CL
发布日期: 2026-09-23
💡 一句话要点
提出自条件化方法以测量同行评审中的外部信息
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 同行评审 外部信息 自条件化 人工文本检测 信息理论
📋 核心要点
- 现有的人工文本检测方法主要测量表面形式，难以有效区分自我润色与外部信息的委托。
- 论文提出自条件化方法，通过信息理论估计评审中外部信息的量，增强对评审内容的理解。
- 在IntelLabs基准测试中，自条件化方法的AUC值高达1.0，显著优于传统的人工文本检测基线。
📝 摘要（中文）
本论文探讨了在同行评审中使用大型语言模型（LLMs）时，如何区分自我润色与外部信息的委托。现有的人工文本检测方法主要关注表面形式，而非内容来源。为此，作者提出了一种无监督的信息理论估计器——自条件化（Self-Conditioning），通过比较评审在其生成上下文下的可能性与在增强上下文下的可能性来测量评审中携带的外部信息。实验结果表明，该方法在IntelLabs同行评审基准上能够以高达1.0的AUC值有效区分完全委托与机器润色的评审，并且对表面重写不敏感。随着外部信息的增加，生成器的得分逐渐接近人类评审的水平。
🔬 方法详解
问题定义：本论文旨在解决如何有效测量同行评审中外部信息的问题。现有的人工文本检测方法主要关注文本的表面形式，无法准确识别内容的来源，导致对评审质量的评估不够全面。
核心思路：论文提出的自条件化方法通过比较评审在其生成上下文下的可能性与在增强上下文下的可能性，来量化评审中携带的外部信息。这种设计使得评审的内容与外部信息的关系更加清晰。
技术框架：整体架构包括两个主要阶段：首先，评审文本在其原始生成上下文中进行概率评估；其次，利用从评审文本中提取的提示增强上下文，再次进行概率评估。通过比较这两者的可能性，来判断外部信息的量。
关键创新：自条件化方法的核心创新在于其无监督的信息理论估计方式，能够有效区分完全委托的评审与机器润色的评审。这一方法与传统的人工文本检测方法有本质区别，后者往往无法深入分析内容来源。
关键设计：在实现过程中，关键参数包括上下文的选择和增强方式，损失函数设计为最大化评审在增强上下文下的可能性。此外，网络结构需支持高效的概率评估，以确保估计的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，自条件化方法在IntelLabs基准测试中实现了高达1.0的AUC值，能够有效区分完全委托与机器润色的评审。此外，随着外部信息的增加，生成器的得分逐渐接近人类评审的水平，显示出该方法在评估外部信息方面的优越性。
🎯 应用场景
该研究的潜在应用领域包括学术出版、同行评审系统及自动化评审工具。通过准确测量评审中的外部信息，可以提升评审质量，减少对机器生成内容的误判，从而在学术界建立更为公正的评审机制。未来，该方法可能对其他文本生成领域的内容真实性评估产生积极影响。
📄 摘要（原文）
Conference policies distinguish using Large Language Models (LLMs) to polish one's own review from delegating the critique, but current Artificial Text Detection (ATD) methods largely measure surface form rather than the origin of its content. We instead measure the external information carried by a review: information not explained by the reviewed paper and a generic reviewing instruction. We propose Self-Conditioning, an unsupervised information-theoretic estimator that compares the likelihood of a review under its production context with its likelihood when that context is augmented with hints extracted from the review itself. On the IntelLabs peer-review benchmark, Self-Conditioning separates fully-delegated from machine-polished reviews with AUC up to $1.0$ while remaining largely insensitive to surface rewriting. Moreover, as generators receive increasing amounts of externally-provided information, their scores move monotonically towards the human regime, unlike standard ATD baselines. High-temperature sampling can evade the estimator, but at the cost of output quality.