GUARD: Natural Forgetting in Large Reasoning Models via Guided Answer-Reasoning Distillation
作者: Zeyu Yan, Guanghao Zhou, Minghui Qiu, Ming Gao, Cen Chen
分类: cs.AI
发布日期: 2026-09-18
备注: Accepted to EMNLP 2026 main conference
🔗 代码/项目: GITHUB
💡 一句话要点
提出GUARD以解决大型推理模型中的自然遗忘问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型推理模型 机器遗忘 引导蒸馏 信息安全 隐私保护
📋 核心要点
- 现有的机器遗忘方法未能有效处理大型推理模型中的不安全信息泄露问题，导致生成的答案可能包含敏感内容。
- GUARD方法通过引导答案推理蒸馏，将不安全的披露转化为安全的退出轨迹，从而实现自然遗忘。
- 实验结果表明，GUARD在R-TOFU和STAR-1衍生的有害意图设置中显著降低了不安全披露，同时保持了推理的有效性。
📝 摘要（中文）
随着大型推理模型（LRMs）的进步，机器遗忘变得愈加复杂，因为受保护的事实或不安全的推理可能在最终答案生成之前出现在中间的思维链（CoT）中。现有的遗忘目标通常抑制目标内容或重定向内部表示，但未明确后遗忘轨迹的继续方式，可能导致虚假替代、畸形边界或重复输出。我们主张LRM的遗忘应学习自然遗忘轨迹：一个连贯的不泄露的CoT，随后是一个稳定的拒绝式答案来替代原始披露。为此，我们提出了引导答案推理蒸馏（GUARD），将模型生成的不安全披露转换为安全退出轨迹，通过引导标记对冻结的LRM进行对齐，并将引导行为蒸馏到模型参数中。我们进一步引入自然遗忘推理评分（NFRS），捕捉遗忘输出中的结构稳定性、流畅性和不支持的替代品。大量实验表明，GUARD显著减少了两种广泛采用的蒸馏LRMs中的不安全和隐私披露，同时保持推理效用。
🔬 方法详解
问题定义：论文要解决的问题是大型推理模型在生成答案时可能泄露敏感信息，现有方法未能有效处理后续的遗忘轨迹，导致生成的答案不够安全和可靠。
核心思路：论文提出的核心思路是通过引导答案推理蒸馏（GUARD），将不安全的披露转化为安全的退出轨迹，确保生成的答案既不泄露敏感信息，又保持推理的连贯性。
技术框架：GUARD的整体架构包括三个主要模块：首先是将模型生成的不安全披露转换为安全退出轨迹；其次是通过引导标记对冻结的LRM进行对齐；最后是将引导行为蒸馏到模型参数中。
关键创新：GUARD的关键创新在于引入自然遗忘轨迹的概念，强调生成连贯的非泄露思维链和稳定的拒绝式答案，这与现有方法的单一抑制目标形成了本质区别。
关键设计：在设计中，GUARD采用了新的损失函数来优化NFRS评分，确保生成的答案在结构稳定性和流畅性方面达到较高标准，同时避免生成不支持的替代品。具体的参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GUARD在R-TOFU和STAR-1衍生的有害意图设置中，显著减少了不安全和隐私披露，具体减少幅度达到XX%（具体数据需参考原文），同时保持了推理效用，验证了其有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括隐私保护、信息安全和智能助手等场景，能够有效减少敏感信息泄露的风险，提升用户对AI系统的信任度。未来，GUARD的思路可以推广到其他类型的模型中，进一步推动机器学习领域的安全性和可靠性发展。
📄 摘要（原文）
Recent advances in large reasoning models (LRMs) have made machine unlearning more challenging, as protected facts or unsafe rationales may surface in intermediate chain-of-thought (CoT) traces before the final answer is produced. Existing unlearning objectives typically suppress the target content or redirect internal representations, but they never specify how the post-forgetting trajectory should continue, which can lead to hallucinated substitutes, malformed boundaries, or repetitive outputs. We argue that LRM unlearning should instead learn a natural forgetting trajectory: a coherent non-disclosing CoT followed by a stable refusal-style answer that replace the original disclosure. To this end, we propose Guided Answer-Reasoning Distillation (GUARD), which converts model-generated unsafe disclosures into safe-exit trajectories, aligns a frozen LRM via guidance tokens, and distills the guided behavior into model parameters.To address the lack of metrics for replacement quality beyond leakage, we further introduce Natural Forgetting Reasoning Score (NFRS), which captures structural stability, fluency, and unsupported substitutes in forgotten outputs. Extensive experiments on R-TOFU and a STAR-1-derived harmful-intent setting show that GUARD substantially reduces unsafe and privacy disclosures across two widely adopted distilled LRMs while preserving reasoning utility. Codes are available at https://github.com/zeyu-Yan/GUARD