REDaCT: Collapse-Free Unlearning in Large Reasoning Models

📄 arXiv: 2610.12769v1 📥 PDF

作者: Joshua Maccoby, Wendy Hui Wang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-08

备注: Accepted to Findings of EMNLP 2026. 19 pages, 7 figures, 6 tables. Copyright 2026 Association for Computational Linguistics (ACL). Licensed under CC BY 4.0

🔗 代码/项目: GITHUB

💡 一句话要点

提出REDaCT以解决大规模推理模型中的遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模推理模型 遗忘机制 推理崩溃 动态调整 自然语言处理

📋 核心要点

  1. 现有方法在进行遗忘操作时，常常导致推理崩溃，影响模型的连贯性和推理终止。
  2. REDaCT通过引入二元泄漏检测器和嵌入优化模块，提供了一种新的推理时遗忘框架，有效解决了推理崩溃问题。
  3. 实验结果显示，REDaCT在推理保持能力上显著优于现有最先进的遗忘方法，同时实现了完美的答案遗忘。

📝 摘要（中文）

在大规模推理模型（LRMs）中，遗忘操作需要从推理轨迹和最终答案中移除遗忘集信息。现有方法在实现这一目标时，往往导致推理崩溃，即模型无法生成连贯的思维链（CoT），并且推理过程无法正确终止。为了解决这一挑战，本文提出了REDaCT（通过检测和纠正调优再生），这是一个用于LRMs的推理时遗忘框架。REDaCT由两个关键组件组成：一是二元泄漏检测器，用于识别推理轨迹中泄漏遗忘集信息的句子；二是嵌入优化模块，离线学习纠正嵌入，在推理过程中注入到第一个检测到的泄漏处，以引导后续推理朝向不泄漏遗忘集信息的句子。实验结果表明，REDaCT完全避免了推理崩溃，显著提高了推理保持能力，同时保持了完美的答案遗忘和近乎完美的CoT遗忘。

🔬 方法详解

问题定义：本文旨在解决大规模推理模型中的遗忘问题，尤其是现有方法导致的推理崩溃现象，影响模型生成连贯思维链的能力。

核心思路：REDaCT的核心思路是通过检测推理轨迹中的泄漏信息，并利用纠正嵌入来引导后续推理，从而避免推理崩溃。这样的设计使得模型能够在遗忘过程中保持推理的连贯性。

技术框架：REDaCT框架主要包括两个模块：一是二元泄漏检测器，负责识别推理轨迹中泄漏的句子；二是嵌入优化模块，离线学习纠正嵌入，并在推理时注入到第一个检测到的泄漏处。

关键创新：REDaCT的创新在于其推理时的动态调整能力，通过检测和纠正机制，有效避免了推理崩溃，与现有方法相比，提供了更高的推理保持能力。

关键设计：在设计中，二元泄漏检测器采用了特定的阈值来判断句子是否泄漏，而嵌入优化模块则通过离线学习的方式生成纠正嵌入，确保在推理过程中能够有效引导模型。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，REDaCT在推理保持能力上显著优于现有最先进的遗忘方法，完全避免了推理崩溃，且在答案遗忘和思维链遗忘方面均达到了理想效果。具体性能数据和对比基线在论文中有详细列出，显示出提升幅度显著。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统以及其他需要动态遗忘能力的人工智能系统。通过提高模型的推理能力和遗忘效率，REDaCT能够在实际应用中提供更为可靠和灵活的解决方案，未来可能对智能系统的设计和优化产生深远影响。

📄 摘要（原文）

Unlearning in large reasoning models (LRMs) requires removing forget-set information from both the reasoning trace and the final answer. Existing approaches achieve this objective at the cost of reasoning collapse, where the model fails to produce a coherent chain-of-thought (CoT) and does not properly terminate its reasoning process. To address this challenge, we propose REDaCT (REgenerate via Detection and Corrective Tuning), an inference-time unlearning framework for LRMs. REDaCT consists of two key components: (1) a binary leak detector that identifies sentences in the reasoning trace that leak forget-set information, and (2) an embedding optimization module that learns a corrective embedding offline, such that when injected at the first detected leak during inference, it guides subsequent reasoning towards sentences that do not leak forget-set information. Experimental results show that REDaCT completely avoids reasoning collapse, substantially improving reasoning preservation compared to state-of-the-art unlearning methods while maintaining perfect answer forgetting and near-perfect CoT forgetting. Our code is available at: https://github.com/jmaccoby/redact.