Does Deeper Reasoning Compromise Alignment? Revealing and Mitigating of Alignment Collapse in Large Reasoning Models
作者: Yu-Hang Wu, Yu-Jie Xiong, Henghua Zhang, Bairui Zhang, Jia-Chen Zhang, Shaohua Li
分类: cs.AI, cs.CL
发布日期: 2026-09-08
💡 一句话要点
提出Alignment Loss Rate以解决深度推理中的对齐崩溃问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型推理模型 对齐机制 深度推理 对抗攻击 安全性
📋 核心要点
- 现有方法未充分探讨深度推理对安全对齐的影响，存在对齐崩溃的风险。
- 提出对齐损失率（ALR）指标量化对齐崩溃，并引入推理残差对齐（RRA）作为防御策略。
- 实验结果显示，随着推理深度增加，ALR显著上升，模型鲁棒性下降，RRA有效缓解了这一问题。
📝 摘要（中文）
链式思维（CoT）的出现为大型推理模型（LRMs）奠定了坚实的基础。尽管深度推理被广泛认为能增强安全对齐，但在扩展推理下对齐机制的稳定性仍未得到充分探讨。本文揭示了一个关键脆弱性：深度推理可能导致对齐崩溃。为严格量化这一现象，我们提出了对齐损失率（ALR）指标。实验表明，随着推理深度的增加，ALR显著上升，表明模型在外部扰动下的鲁棒性严重下降。基于这种不稳定性，提出了一种新型越狱范式——推理陷阱（RT），该方法通过延长推理过程来放大对抗攻击的影响，导致安全能力急剧下降。我们识别出注意力稀释是导致崩溃的根本原因，源于扩展推理过程与原始输入之间的注意力竞争。为此，提出了推理残差对齐（RRA），这是一种轻量级防御策略，通过与推理过程集成的残差连接动态重新强调输入。
🔬 方法详解
问题定义：本文旨在解决深度推理过程中对齐机制的不稳定性，现有方法未能充分考虑推理深度对模型安全性的影响，导致对齐崩溃现象的出现。
核心思路：通过引入对齐损失率（ALR）指标，量化深度推理对模型鲁棒性的影响，并提出推理残差对齐（RRA）策略，以动态重新强调输入，从而提高模型的安全性。
技术框架：整体架构包括对齐损失率的计算模块、推理陷阱的实施模块和推理残差对齐的防御模块。首先计算ALR，然后通过RT诱导模型进行深度推理，最后应用RRA进行防御。
关键创新：最重要的技术创新在于提出了对齐损失率（ALR）这一新指标，揭示了深度推理导致的对齐崩溃现象，并提出了RRA作为有效的防御策略，与现有方法相比，提供了新的视角和解决方案。
关键设计：在RRA中，设计了动态残差连接，以便在推理过程中重新强调输入信息，确保模型在面对对抗攻击时保持更高的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，随着推理深度的增加，对齐损失率（ALR）显著上升，表明模型鲁棒性下降。引入推理残差对齐（RRA）后，模型在面对对抗攻击时的安全能力得到了有效提升，验证了RRA的有效性和必要性。
🎯 应用场景
该研究的潜在应用领域包括安全性要求高的人工智能系统，如自动驾驶、金融决策和医疗诊断等。通过提高模型在深度推理下的鲁棒性，可以有效降低对抗攻击带来的风险，增强系统的安全性和可靠性。
📄 摘要（原文）
The emergence of Chain-of-Thought (CoT) has established a robust foundation for Large Reasoning Models (LRMs). While deep reasoning is widely believed to enhance safety alignment, the stability of alignment mechanisms under extended reasoning remains underexplored. This paper challenges the prevailing view by revealing a critical vulnerability: Deep Reasoning May Induce Alignment Collapse. To rigorously quantify this phenomenon, we propose the Alignment Loss Rate (ALR) metric. Our experiments demonstrate that as reasoning depth increases, ALR rises significantly, indicating a severe degradation in model robustness against external perturbations. Capitalizing on this instability, a novel jailbreaking paradigm, Reasoning Trap (RT), is proposed. RT induces the model into extended reasoning to amplify the impact of adversarial attacks, leading to a sharp decline in safety capabilities. To elucidate the mechanism behind this collapse, we identify Attention Dilution as the root cause, arising from the competition for attention between the extended reasoning process and the original input. To mitigate this, Reasoning Residual Alignment (RRA), a lightweight defense strategy that dynamically re-emphasizes the input via residual connections integrated with the reasoning process.