A Pragmatic Way to Measure Chain-of-Thought Monitorability

📄 arXiv: 2510.23966v1 📥 PDF

作者: Scott Emmons, Roland S. Zimmermann, David K. Elson, Rohin Shah

分类: cs.LG, cs.SE

发布日期: 2025-10-28

备注: The first two authors contributed equally

💡 一句话要点

提出一种评估思维链（CoT）可监控性的实用方法，保障AI安全。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 思维链 可监控性 人工智能安全 大型语言模型 自动评估器

📋 核心要点

  1. 现有CoT监控方法缺乏量化指标，难以追踪模型训练和架构变化对可监控性的影响。
  2. 提出一种基于LLM自动评估器的可监控性度量方法，包含可读性和覆盖率两个关键指标。
  3. 实验表明，前沿模型在具有挑战性的基准测试中表现出较高的可监控性，验证了该方法的可行性。

📝 摘要（中文）

思维链（CoT）监控为人工智能安全提供了一个独特的机会，但这种机会可能会因训练实践或模型架构的转变而丧失。为了帮助保持可监控性，我们提出了一种实用的方法来衡量它的两个组成部分：可读性（推理是否能被人理解）和覆盖率（CoT是否包含人类产生最终输出所需的所有推理）。我们使用一个自动评估器提示来实现这些指标，该提示使任何有能力的LLM都能计算现有CoT的可读性和覆盖率。在通过合成CoT退化对我们的提示自动评估器进行健全性检查后，我们将其应用于具有挑战性的基准测试中的几个前沿模型，发现它们表现出很高的可监控性。我们提供这些指标，包括我们完整的自动评估器提示，作为开发人员跟踪设计决策如何影响可监控性的工具。虽然我们分享的确切提示仍然是正在开发的初步版本，但我们现在分享它是希望社区中的其他人会发现它有用。我们的方法有助于衡量CoT的默认可监控性——它应该被视为对对抗性压力测试的补充，而不是替代，对抗性压力测试是测试针对故意逃避模型的鲁棒性所必需的。

🔬 方法详解

问题定义：论文旨在解决如何量化评估思维链（Chain-of-Thought, CoT）的可监控性问题。现有方法缺乏客观、可量化的指标，难以评估CoT推理过程是否易于人类理解和验证，也无法追踪模型训练或架构变化对可监控性的影响。这使得我们难以确保AI系统的安全性和可靠性。

核心思路：论文的核心思路是利用大型语言模型（LLM）本身的能力，构建一个自动评估器，通过提示工程（Prompt Engineering）让LLM判断CoT推理过程的可读性（Legibility）和覆盖率（Coverage）。可读性衡量推理过程是否易于人类理解，覆盖率衡量CoT是否包含了人类产生最终结果所需的所有推理步骤。

技术框架：该方法主要包含以下几个阶段：1) 构建自动评估器提示（Autorater Prompt），该提示指导LLM如何评估CoT的可读性和覆盖率。2) 使用自动评估器对现有的CoT推理过程进行评估，得到可读性和覆盖率的量化指标。3) 通过合成CoT退化（Synthetic CoT Degradations）来验证自动评估器的有效性。4) 将该方法应用于前沿模型，评估其在具有挑战性的基准测试中的可监控性。

关键创新：该方法最重要的创新点在于利用LLM自身的能力来评估CoT的可监控性，避免了人工评估的主观性和高成本。通过设计合适的提示，可以使LLM有效地判断CoT的可读性和覆盖率，从而实现可监控性的量化评估。

关键设计：关键设计包括：1) 精心设计的自动评估器提示，该提示需要清晰地定义可读性和覆盖率的概念，并指导LLM如何进行判断。2) 使用合成CoT退化来验证自动评估器的有效性，确保其能够准确地识别出不可读或不完整的CoT推理过程。3) 选择具有挑战性的基准测试来评估前沿模型的可监控性，从而更好地反映模型的实际性能。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，该方法能够有效地评估CoT的可读性和覆盖率。通过对多个前沿模型在具有挑战性的基准测试中进行评估，发现这些模型表现出较高的可监控性。此外，通过合成CoT退化实验，验证了自动评估器的有效性，表明其能够准确地识别出不可读或不完整的CoT推理过程。

🎯 应用场景

该研究成果可应用于AI安全领域，帮助开发者评估和改进模型的推理过程，提高模型的可解释性和可信度。通过追踪模型训练和架构变化对可监控性的影响，可以更好地保障AI系统的安全性和可靠性。此外，该方法还可以用于评估不同CoT生成策略的优劣，指导CoT技术的进一步发展。

📄 摘要（原文）

While Chain-of-Thought (CoT) monitoring offers a unique opportunity for AI safety, this opportunity could be lost through shifts in training practices or model architecture. To help preserve monitorability, we propose a pragmatic way to measure two components of it: legibility (whether the reasoning can be followed by a human) and coverage (whether the CoT contains all the reasoning needed for a human to also produce the final output). We implement these metrics with an autorater prompt that enables any capable LLM to compute the legibility and coverage of existing CoTs. After sanity-checking our prompted autorater with synthetic CoT degradations, we apply it to several frontier models on challenging benchmarks, finding that they exhibit high monitorability. We present these metrics, including our complete autorater prompt, as a tool for developers to track how design decisions impact monitorability. While the exact prompt we share is still a preliminary version under ongoing development, we are sharing it now in the hopes that others in the community will find it useful. Our method helps measure the default monitorability of CoT - it should be seen as a complement, not a replacement, for the adversarial stress-testing needed to test robustness against deliberately evasive models.