REACT: Representational Early Analysis and Control of Chain-of-Thought Trajectories

📄 arXiv: 2610.32113v1 📥 PDF

作者: Hanwen Zhang, Enyi Jiang, Ruike Zhu, Qinan Yu, Sanmi Koyejo

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-23

备注: 26 pages, 2 figures

💡 一句话要点

提出REACT以提高链式思维生成的安全性与控制力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式思维 安全性控制 条件激活 推理模型 干预机制 生成任务 风险管理

📋 核心要点

  1. 现有的推理模型在生成答案时难以有效控制风险，尤其是在生成后期。
  2. REACT通过学习安全方向并在早期CoT隐藏状态上进行干预，保持模型权重不变，确保后续生成不受影响。
  3. 实验结果显示，REACT在多个模型上显著提高了安全答案的生成率，尤其是在前两个到三个token内干预效果最佳。

📝 摘要（中文）

链式思维（CoT）生成为在推理模型完成答案之前提供干预机会。然而，风险最易检测的时刻是否也提供了最有效的控制？本文提出REACT，一种条件激活干预方法，通过从配对的安全和不安全轨迹中学习安全方向，并在早期的CoT隐藏状态上应用。研究表明，在前五个CoT位置分别训练方向，并评估无门控编辑的效果，发现最佳干预时机集中在前两到三个token内。REACT在DeepSeek-R1-Distill-Llama-8B模型上将完全安全的CoT答案输出率从29.06%提升至82.05%。

🔬 方法详解

问题定义：本文旨在解决推理模型在生成答案过程中风险控制不足的问题。现有方法往往在生成后期难以有效检测和干预潜在风险。

核心思路：REACT的核心思路是通过条件激活干预，学习安全方向并在早期的CoT隐藏状态上应用，从而在不改变模型权重的情况下进行有效控制。

技术框架：REACT的整体架构包括数据收集、模型训练和干预应用三个主要阶段。首先收集配对的安全与不安全轨迹，然后在前五个CoT位置分别训练安全方向，最后在生成过程中应用干预。

关键创新：REACT的创新点在于将干预时机与生成效果相结合，发现早期干预在风险可读性与有效控制之间的平衡，显著提高了安全答案的生成率。

关键设计：在模型训练中，采用无门控编辑的方式进行评估，设置了特定的损失函数以优化安全方向的学习，确保在前两到三个token内进行干预以获得最佳效果。

📊 实验亮点

在DeepSeek-R1-Distill-Llama-8B模型上，REACT将完全安全的CoT答案输出率从29.06%提升至82.05%，显示出显著的性能提升。实验结果表明，最佳干预时机集中在生成的前两到三个token内，后续生成的风险可读性与控制效果存在显著差异。

🎯 应用场景

REACT的研究成果在推理模型的安全性提升方面具有广泛的应用潜力，特别是在自动问答、对话系统及其他需要高安全性的生成任务中。未来，REACT可以为更复杂的推理任务提供安全保障，推动智能系统的可靠性和实用性。

📄 摘要（原文）

Chain-of-thought (CoT) generation offers an opportunity to intervene before a reasoning model completes its answer. But does the point at which risk is easiest to detect also offer the most effective control? We study this question with REACT, a conditional activation intervention that learns a safety direction from paired safe and unsafe trajectories and applies it once to an early CoT hidden state. The model weights remain frozen, and all subsequent tokens are generated without further edits. To study timing, we train directions separately at each of the first five CoT positions and evaluate ungated edits with full post-edit regeneration. Across three distilled reasoning models and three generation seeds, the strongest gains concentrate in a two- to three-token early window; on DeepSeek-R1-Distill-Llama-8B, the effect falls to approximately zero at the fourth and fifth tokens, even though later states can be more predictive of risk. This separates risk readability from effective control: intervention timing must be evaluated through its effect on subsequent generation. On the same 8B model, REACT raises the rate of fully safe CoT-answer outputs on StrongREJECT-273 from 29.06% to 82.05%, while keeping benign refusal and usefulness near baseline. An anonymized implementation is available at https://anonymous.4open.science/r/REACT_official2-333B.