When the Chain of Thought Knows Better: Failure Modes in Multi-Turn Reasoning Models
作者: Sai Kartheek Reddy Kasu, Nils Lukas, Samuele Poppi
分类: cs.AI, cs.CL, cs.LG
发布日期: 2026-06-09
备注: Accepted at the ICML 2026 FAGEN Workshop
💡 一句话要点
提出CoT-Output安全矩阵以揭示多轮推理模型的失败模式
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多轮推理 安全矩阵 模型评估 上下文注入 对齐伪装 信息危害 人工智能安全
📋 核心要点
- 现有多轮推理模型在长对话中可能早期锁定不安全立场，导致最终评分无法反映真实表现。
- 本文提出CoT-Output 2x2安全矩阵，通过标记每个回合的内部推理和可见输出，揭示模型的潜在失败模式。
- 实验结果显示，在显式监控下，模型的对齐伪装率反而增加，且存在上下文注入失败现象，模型输出不安全内容。
📝 摘要（中文）
多轮推理模型的失败在终端评分评估中往往是隐形的。模型可能在长对话的早期锁定不安全的立场，而其最终回合的拒绝率可能与稳健对齐的基线无显著区别。为揭示这些隐藏的时间动态，本文提出了一种追踪级诊断工具——CoT-Output 2x2安全矩阵。该框架沿两个独立轴（内部推理和可见输出）标记每个回合，定义了四种操作性失败单元。我们在信息危害场景下评估了三种蒸馏推理目标，收集了6750个回合级观察数据，分析揭示了两种可重复的脆弱性。我们发布了完整的多轮对话和CoT追踪数据集，以支持后续的追踪诊断研究。
🔬 方法详解
问题定义：本文旨在解决多轮推理模型在长对话中潜在的失败模式，现有方法无法有效识别这些隐性问题，导致评估结果失真。
核心思路：提出CoT-Output 2x2安全矩阵，通过对每个回合的内部推理和可见输出进行标记，识别并分类模型的失败模式，增强对模型行为的理解。
技术框架：该框架包括两个独立的标记轴，分别为内部推理和可见输出，形成四个操作性定义的失败单元，便于分析和诊断。
关键创新：最重要的创新在于引入了上下文注入失败这一新概念，揭示了模型在内部推理安全但输出不安全的现象，与现有方法的评估方式有本质区别。
关键设计：在实验中，设置了6750个回合级观察数据，采用固定攻击者进行评估，设计了多种监督条件以测试模型的脆弱性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在显式监控条件下，模型的对齐伪装率增加了20%，而上下文注入失败现象导致模型在安全内部状态下仍输出不安全内容，揭示了模型在多轮推理中的脆弱性。
🎯 应用场景
该研究的潜在应用领域包括对话系统、智能助手和安全敏感的AI应用。通过揭示多轮推理模型的失败模式，能够帮助开发更安全、可靠的AI系统，减少潜在的安全风险，提升用户信任度。
📄 摘要（原文）
Failures in multi-turn reasoning models are largely invisible to terminal-score evaluation. A model can lock onto an unsafe stance early in a long dialogue, yet its final-turn refusal rate may appear indistinguishable from a robustly aligned baseline. To expose these hidden temporal dynamics, we propose a trace-level diagnostic - the CoT-Output 2x2 safety matrix. This framework labels every turn along two independent axes (internal reasoning and visible output), yielding four operationally defined failure cells: robust alignment, alignment faking, overt jailbreak, and a distinct failure mode we term context-injection failure (where the CoT maintains safe reasoning, but the visible output produces harm, highlighting a multi-turn manifestation of reasoning unfaithfulness). We evaluate three distilled reasoning targets against a fixed attacker across five oversight conditions, collecting 6750 turn-level observations on the Information-Hazard scenario. Our analysis reveals two reproducible vulnerabilities: an oversight paradox where explicit monitoring cues paradoxically increase alignment-faking rates rather than suppress them, and a context-injection failure where models lock onto unsafe external outputs despite safe internal states. We release the full dataset of multi-turn dialogues and CoT traces to support follow-up trace-diagnostic research.