Certified by Abstention: Distribution-Free Guarantees for Chain-of-Thought Verifiers at Small Calibration Budgets
作者: Arjun Balaji
分类: stat.ML, cs.CL, cs.LG
发布日期: 2026-10-07
备注: 22 pages, 7 figures, 12 tables. Under submission at AISTATS 2027
💡 一句话要点
提出基于弃权的认证方法以解决小规模标定预算下的链式思维验证问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 链式思维 验证器 弃权认证 标定预算 模型信号 覆盖率提升 机器学习
📋 核心要点
- 现有的链式思维验证方法在小规模标定预算下缺乏有效的分布无关保证，导致验证结果的不确定性。
- 本文提出了一种基于弃权的$(α,δ)$有效程序，通过设定发证概率来控制失败概率，从而提高验证的可靠性。
- 实验结果显示，新的固定序列认证方法在多个模型-信号对上覆盖率显著提高，从0.05提升至0.16，尽管绝对覆盖仍然较小。
📝 摘要（中文）
本文探讨了在现实的标定预算下，如何为链式思维（CoT）验证器提供分布无关的选择性保证。通过对七个开放模型、五个验证信号和37,000个评分轨迹的分析，发现通过弃权实现的有效性可以在较低的发证概率下仍然保持有效性。研究提出了一种固定序列的认证方法，能够在不依赖单调性假设的情况下，覆盖比Bonferroni认证更多的模型-信号对，并在目标覆盖率上实现显著提升。最后，研究指出认证在部署后无法捕捉重要信息，导致错误率上升。
🔬 方法详解
问题定义：本文旨在解决在小规模标定预算下，链式思维验证器缺乏有效的分布无关保证的问题。现有方法在实际应用中容易导致高错误率，尤其是在发证概率较低的情况下。
核心思路：论文提出了一种基于弃权的$(α,δ)$有效程序，利用发证概率$P_{ m fire}$来限制发证的失败概率，从而在较低的标定预算下仍能保持验证的有效性。
技术框架：整体方法包括数据收集、信号分析、认证程序设计和实验验证四个主要模块。首先收集大量评分轨迹，然后分析不同验证信号的表现，最后设计新的认证程序并进行实验验证其效果。
关键创新：最重要的创新点在于提出了一种不依赖单调性假设的固定序列认证方法，该方法在每个模型-信号对上都能覆盖比传统Bonferroni认证更多的情况，显著提升了验证的覆盖率。
关键设计：在设计中，设定了发证概率$P_{ m fire}$和覆盖率目标$0.75π_0$，并通过模拟实验验证了不同参数设置对认证效果的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，新的固定序列认证方法在多个模型-信号对上覆盖率从0.05提升至0.16，显著优于传统的Bonferroni认证方法。此外，标准认证在已知风险的情况下，发证时的错误率可高达69%，而新方法有效降低了这一风险。
🎯 应用场景
该研究的潜在应用领域包括机器学习模型的验证、自动化决策系统以及任何需要高可靠性验证的智能系统。通过提供更可靠的验证机制，可以提高系统的安全性和稳定性，减少错误决策的风险，具有重要的实际价值和未来影响。
📄 摘要（原文）
Signals that predict whether a chain-of-thought (CoT) trace is correct are compared by AUC, but deploying one requires a threshold with a guarantee. We ask what distribution-free selective guarantees deliver for CoT verifiers at realistic calibration budgets of tens to a few hundred labelled problems, using seven open models, five verifier signals and 37,000 graded traces. The central observation is validity by abstention: an $(α,δ)$-valid procedure that issues a certificate with probability $P_{\rm fire}$ bounds the failure probability of an issued certificate only by $δ/P_{\rm fire}$, so a certificate that rarely fires can be valid and wrong every time it is used. In a simulation with known risk the standard certificate fails in at most 0.3% of calibration draws but in up to 69% of those in which it fires. A certification floor and a lattice condition for Benjamini-Hochberg conformal selection explain why certificates abstain at these budgets, and the data bear them out: the standard certificate returns nothing or a large accepted set, and an unreadable residual-stream probe buys two to three times the coverage of the readable signals, an edge a cross-fitted reconstruction cannot recover linearly from the readable features. We then give a floor-started fixed-sequence certificate, valid without monotonicity assumptions, that covers more than the Bonferroni certificate on every model-signal pair and raises coverage at the non-vacuous target $0.75π_0$ from 0.05 to 0.16, although the floor keeps absolute coverage small. Finally, a certificate cannot see what matters after deployment: under benchmark shift the error among accepted traces tracks the new task's base error, and under best-of-$n$ selection against the verifier it rises past the target while the empirical failure frequency stays below $δ$, because abstention absorbs the failures.