Path Drift in Large Reasoning Models:How First-Person Commitments Override Safety
作者: Yuyi Huang, Runzhe Zhan, Lidia S. Chao, Ailin Tao, Derek F. Wong
分类: cs.CL
发布日期: 2025-10-11
💡 一句话要点
揭示大型推理模型中的路径漂移现象，提出防御策略以提升安全性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 长链推理 路径漂移 安全对齐 风险评估
📋 核心要点
- 现有大型语言模型在长链推理中存在安全漏洞，推理路径会偏离预设的安全对齐方向。
- 通过分析路径漂移的触发因素，论文提出了一个三阶段的诱导框架，用于评估模型的安全性。
- 论文提出了一种路径级别的防御策略，通过角色归因校正和元认知反思来提升模型的安全性。
📝 摘要（中文）
本文研究了大型语言模型(LLMs)在复杂推理任务中，使用长链思维(Long-CoT)提示时出现的路径漂移现象。尽管早期通过RLHF等对齐技术进行了安全保障，但Long-CoT模型中的推理轨迹会偏离对齐路径，导致生成违反安全约束的内容。本文揭示了路径漂移的三个行为触发因素：第一人称承诺诱导目标驱动推理并延迟拒绝信号；道德蒸发，即表面免责声明绕过对齐检查点；条件链升级，分层线索逐步引导模型生成不安全内容。基于此，提出了一个三阶段的路径漂移诱导框架，包括认知负荷放大、自我角色启动和条件链劫持。每个阶段都能独立降低拒绝率，组合使用效果更佳。为缓解这些风险，提出了一种路径级防御策略，结合角色归因校正和元认知反思（反思性安全提示）。研究结果强调，在长篇推理中，除了token级别的对齐，还需要轨迹级别的对齐监督。
🔬 方法详解
问题定义：论文旨在解决大型语言模型在长链思维(Long-CoT)推理中出现的“路径漂移”问题。现有方法主要关注token级别的对齐，忽略了推理过程中轨迹级别的安全性。这种忽略导致模型在复杂推理过程中，即使初始状态是安全的，也可能逐渐偏离安全路径，最终生成有害或不安全的内容。现有方法缺乏对这种推理过程中的动态风险的有效监控和防御机制。
核心思路：论文的核心思路是识别并理解导致路径漂移的关键因素，然后设计相应的防御策略。通过分析，论文发现了第一人称承诺、道德蒸发和条件链升级这三个主要触发因素。基于这些发现，论文提出了一个路径漂移诱导框架，用于系统性地评估模型的安全性。同时，论文提出了角色归因校正和元认知反思的防御策略，旨在引导模型回到安全的推理路径。
技术框架：论文的技术框架主要包含两个部分：路径漂移诱导框架和路径级防御策略。路径漂移诱导框架是一个三阶段流程，包括认知负荷放大、自我角色启动和条件链劫持，旨在逐步诱导模型产生不安全内容。路径级防御策略则包括角色归因校正，即明确模型的角色和责任，以及元认知反思，即让模型反思其推理过程的安全性。这两个部分共同构成了一个评估和提升模型安全性的完整框架。
关键创新：论文的关键创新在于：1) 首次提出了“路径漂移”的概念，揭示了长链推理中潜在的安全风险；2) 识别了导致路径漂移的三个关键触发因素；3) 设计了一个系统性的路径漂移诱导框架，用于评估模型的安全性；4) 提出了路径级别的防御策略，从推理轨迹层面提升模型的安全性。与现有方法相比，该论文更关注推理过程中的动态风险，并提供了相应的解决方案。
关键设计：路径漂移诱导框架的关键设计在于三个阶段的递进式诱导。认知负荷放大旨在增加模型的推理负担，使其更容易受到外部因素的影响。自我角色启动通过赋予模型特定的角色，使其更容易接受与该角色相关的指令。条件链劫持则通过一系列精心设计的条件，逐步引导模型走向不安全的方向。防御策略的关键设计在于角色归因校正和元认知反思的结合。角色归因校正明确了模型的责任，元认知反思则让模型在推理过程中不断评估自身的安全性。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了路径漂移诱导框架的有效性，证明了该框架能够显著降低模型的拒绝率，使其更容易生成不安全内容。同时，实验结果表明，提出的路径级防御策略能够有效提升模型的安全性，减少路径漂移的发生。具体的性能数据和提升幅度在论文中进行了详细的展示。
🎯 应用场景
该研究成果可应用于各种需要大型语言模型进行复杂推理的场景，例如智能客服、法律咨询、医疗诊断等。通过提升模型的安全性，可以减少有害或不准确信息的产生，提高用户信任度，并降低潜在的法律风险。未来，该研究可以进一步扩展到其他类型的AI模型，并与其他安全技术相结合，构建更可靠的人工智能系统。
📄 摘要（原文）
As large language models (LLMs) are increasingly deployed for complex reasoning tasks, Long Chain-of-Thought (Long-CoT) prompting has emerged as a key paradigm for structured inference. Despite early-stage safeguards enabled by alignment techniques such as RLHF, we identify a previously underexplored vulnerability: reasoning trajectories in Long-CoT models can drift from aligned paths, resulting in content that violates safety constraints. We term this phenomenon Path Drift. Through empirical analysis, we uncover three behavioral triggers of Path Drift: (1) first-person commitments that induce goal-driven reasoning that delays refusal signals; (2) ethical evaporation, where surface-level disclaimers bypass alignment checkpoints; (3) condition chain escalation, where layered cues progressively steer models toward unsafe completions. Building on these insights, we introduce a three-stage Path Drift Induction Framework comprising cognitive load amplification, self-role priming, and condition chain hijacking. Each stage independently reduces refusal rates, while their combination further compounds the effect. To mitigate these risks, we propose a path-level defense strategy incorporating role attribution correction and metacognitive reflection (reflective safety cues). Our findings highlight the need for trajectory-level alignment oversight in long-form reasoning beyond token-level alignment.