Monitorability Is Trainable: Post-Training for Chain-of-Thought Monitorability

📄 arXiv: 2610.29734v1 📥 PDF

作者: Usman Anwar, Tim Bakker, Christos Louizos, David Krueger

分类: cs.LG

发布日期: 2026-10-21

备注: The first two authors contributed equally

💡 一句话要点

提出无监督后训练方法以提升链式思维监控能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式思维监控 无监督学习 后训练 互信息最大化 安全性预测

📋 核心要点

  1. 现有的链式思维监控方法在训练过程中容易导致推理与实际行为之间的耦合减弱，影响监控效果。
  2. 本文提出了一种无监督的后训练目标，通过最大化链式思维与输出之间的互信息来提升监控能力。
  3. 实验结果显示，该方法能够恢复退化模型的监控能力，并在未退化模型上进一步提升监控效果和推理能力。

📝 摘要（中文）

链式思维（CoT）监控是监督强大AI系统的重要工具，但其脆弱性限制了有效性。模型的推理能力与实际行为之间的耦合在训练过程中可能会减弱。本文提出了一种基于最大化CoT与输出之间互信息的无监督后训练目标，以改善CoT的监控能力。实验表明，该方法能够恢复大部分或全部丧失的监控能力，并在未退化策略上进一步提升监控效果，改善不安全行为的预测，增加重要推理的发生。这些结果表明，监控能力应被视为策略的可训练属性。

🔬 方法详解

问题定义：本文旨在解决链式思维监控在训练过程中耦合减弱的问题，现有方法在面对模型优化时容易导致监控效果下降。

核心思路：提出一种无监督的后训练目标，最大化链式思维与模型输出之间的互信息，以增强监控能力。这样的设计可以有效恢复和提升模型的推理与行为之间的关联性。

技术框架：整体方法包括一个后训练阶段，该阶段专注于优化链式思维与输出之间的互信息。主要模块包括数据预处理、互信息计算和模型优化。

关键创新：最重要的创新在于将监控能力视为可训练的属性，并通过后训练阶段来增强这一属性，与传统的直接优化方法形成鲜明对比。

关键设计：在损失函数中引入互信息最大化的目标，采用无监督学习策略，确保模型在训练过程中不受到直接优化压力的影响。

📊 实验亮点

实验结果表明，提出的方法能够恢复大部分丧失的监控能力，并在未退化策略上提升监控效果，具体表现为不安全行为预测的准确性提高，重要推理的发生率增加，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括安全性监控、智能决策系统和自动化推理等。通过提升链式思维的监控能力，可以在更复杂的AI系统中实现更可靠的行为预测和风险评估，具有重要的实际价值和未来影响。

📄 摘要（原文）

Chain-of-thought (CoT) monitoring is one of the few practical tools available for overseeing capable AI systems, but it is fragile: a model's reasoning is only useful to a monitor if it remains coupled to what the model actually does. This coupling can be degraded during training through, for example, CoT compression, optimization against a monitor, and out-of-context generalization from synthetic documents. In this work, we propose an unsupervised post-training objective based on maximizing mutual information between CoT and the output for improving CoT monitorability. Across three model organisms with degraded CoT, it recovers most or all of the lost monitorability. Applied to undegraded policies, it further improves judged monitorability, improves prediction of unsafe behavior by CoT monitors and activation probes, and increases the prevalence of consequential reasoning. These results suggest that monitorability should be treated as a trainable attribute of the policy. A dedicated monitorability post-training stage can extend current practices that protect CoT from direct optimization pressure.