Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures

📄 arXiv: 2609.29429v1 📥 PDF

作者: Ruoqi Guo, Yi Liu, Gelei Deng, Yuekang Li, Lida Zhao, Yutao Wu, Simin Chen, Ying Zhang, Leo Yu Zhang

分类: cs.AI, cs.CL, cs.CR

发布日期: 2026-09-24

🔗 代码/项目: GITHUB

💡 一句话要点

提出Jev模型以解决AI对齐失败检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对齐失败检测 强化学习 校准决策 语言模型 安全性评估 AI对齐 模型评估

📋 核心要点

  1. 现有的对齐失败检测器通常依赖于多次解码或固定标签评分，效率低且成本高。
  2. Jev模型通过强化学习进行校准决策，能够在一次调用中回答多个问题，提升了检测效率。
  3. 实验结果表明，Jev在多个基准上达到了0.886的AUROC，且成本比现有方法低63倍。

📝 摘要（中文）

本文提出了一种名为Jev的模型，利用强化学习进行校准决策，旨在检测语言模型的对齐失败。现有的对齐失败检测器通常需要多次解码或固定标签评分，而Jev能够在一次调用中针对同一输入回答多个问题，并提供校准概率。我们引入了RLCDAlignBench基准，评估Jev在十种对齐失败场景下的表现，结果显示Jev在多个基准上超越了监督学习的基线，且成本显著降低。该研究为AI对齐问题提供了新的解决思路和有效工具。

🔬 方法详解

问题定义：本文旨在解决现有对齐失败检测方法的效率和成本问题。现有方法如生成判别器和固定标签分类器在处理多种标准时效率低下，且无法灵活应对不同问题。

核心思路：Jev模型的核心思路是通过强化学习进行校准决策，能够在一次调用中针对同一输入回答多个问题，从而提高检测效率和准确性。

技术框架：Jev的整体架构包括输入处理、问题生成和决策输出三个主要模块。输入处理模块负责接收和解析输入数据，问题生成模块根据输入生成多种问题，而决策输出模块则提供校准的概率评分。

关键创新：Jev的最大创新在于其能够在一次调用中处理多个问题，并提供校准概率，这与现有方法的逐一处理方式形成鲜明对比。

关键设计：在模型设计中，Jev采用了特定的损失函数以优化校准概率，并通过强化学习策略调整模型参数，以确保在不同上下文中都能保持高效的检测性能。实验中还发现问题的措辞对结果影响较小，而上下文信息则显著提高了检测准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Jev在十种对齐失败场景下的AUROC中达到了0.886，超越了大多数监督学习基线。此外，Jev的成本比现有的LLM-judge评分器低63倍，显示出其在效率和经济性上的显著优势。

🎯 应用场景

该研究的潜在应用场景包括AI系统的安全性评估、语言模型的对齐性检测以及人机交互中的信任度提升。Jev模型的高效性和低成本使其在实际应用中具有广泛的价值，尤其是在需要实时监测和反馈的环境中。未来，该技术可能会推动更多智能系统的安全性和可靠性研究。

📄 摘要（原文）

Detectors of alignment failures screen deployed language models and score alignment benchmarks. Most are generative judges that spend a decoding pass on every criterion, and classifiers that read token probabilities, such as Llama Guard, still score one fixed label per call. Jev, a model trained with reinforcement learning for calibrated decisions (RLCD), answers many typed questions about one input with calibrated probabilities in a single call. Whether it detects alignment failures has not been measured. We present RLCDAlignBench, which benchmarks Jev on ten alignment failures: sycophancy, jailbreaks, deception, prompt injection, hallucination, privacy violation, social bias, reward hacking, concealing uncertainty, and power seeking. It spans 44 benchmarks and five target models, labelled by each benchmark's scorer and, on two, by humans. Many of these failures are relational, defined against a reference, such as the user's belief or an injected instruction, that the response alone does not reveal. Our key idea is therefore to vary what Jev is asked separately from what it sees: the question's wording and answer type on one side, the fields of the input on the other. A single generic question reaches a median AUROC of 0.886 zero-shot and beats supervised baselines on most benchmarks. Question wording matters little, while context matters more, mostly through fields that encode the label. Jev matches the reference scorer's agreement with human labels, surfaces label defects in existing benchmarks, and costs 63x less than LLM-judge scorers. Code and data: https://github.com/sumleo/RLCDAlignBench.