Cascade: Hierarchical Recoverability Control for Large Language Model Unlearning

📄 arXiv: 2609.16890v1 📥 PDF

作者: Qingchen Yu, Shiying Duan, Xiaodong Li, Yuhua Wang, Zhiyu Li, Shiji Zhou, Yifan Sun, Zhaoxin Fan

分类: cs.CL

发布日期: 2026-09-15

备注: Accepted by EMNLP 2026 (Findings)

💡 一句话要点

提出Cascade框架以解决大语言模型的去学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 去学习 隐私保护 机器学习 模型鲁棒性

📋 核心要点

  1. 现有的去学习方法在去除敏感知识时，常常在中间表示中留下可恢复的残余知识，存在隐私风险。
  2. 本文提出Cascade框架，通过路径级路由、表示级压缩和解码级干预三种方式，控制知识的可恢复性。
  3. 实验结果表明，Cascade在TOFU、MUSE-News和WMDP数据集上有效降低了知识的可恢复性，同时保持了模型的实用性。

📝 摘要（中文）

大语言模型（LLM）的去学习对于去除敏感或版权知识至关重要，同时需保持模型的通用性。现有方法常在中间表示中留下残余知识，可能被恢复。为此，本文提出Cascade，一个分层可恢复性控制框架，旨在最小化目标知识的内部可识别性。Cascade结合了三种互补控制：路径级路由以抑制与隐私相关的激活路径，表示级压缩以减少几何可分性，以及解码级干预以限制残余恢复。通过在TOFU、MUSE-News和WMDP上的实验，包括查询重构和提取式提示的鲁棒性测试，Cascade有效降低了可恢复性，同时保持了模型的稳定性。

🔬 方法详解

问题定义：本文解决的是大语言模型在去学习过程中，如何有效去除敏感知识而不留下可恢复的残余信息。现有方法在中间表示中常常存在隐私泄露的风险。

核心思路：Cascade框架的核心思想是通过分层控制机制，减少目标知识的内部可识别性，从而防止其被恢复。设计上结合了多种控制方式，以实现更高效的去学习效果。

技术框架：Cascade框架包含三个主要模块：路径级路由、表示级压缩和解码级干预。路径级路由负责抑制与隐私相关的激活路径，表示级压缩通过降低几何可分性来减少信息泄露，而解码级干预则限制了残余信息的恢复。

关键创新：Cascade的创新在于其分层控制机制，通过综合运用多种策略，有效降低了知识的可恢复性。这与现有方法单一的去学习策略形成了鲜明对比。

关键设计：在设计中，Cascade采用了特定的损失函数来平衡模型的去学习效果与实用性，同时在网络结构上进行了优化，以确保各个模块之间的协同工作。具体参数设置和网络结构细节在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Cascade在TOFU、MUSE-News和WMDP数据集上显著降低了知识的可恢复性，具体表现为在不同查询重构和提取式提示下，模型的恢复率降低了约30%。与基线方法相比，Cascade在保持模型实用性方面表现稳定，确保了去学习过程的有效性。

🎯 应用场景

该研究的潜在应用领域包括数据隐私保护、合规性要求的AI系统以及需要去除敏感信息的机器学习模型。随着对数据隐私的重视，Cascade框架能够为企业和研究机构提供有效的解决方案，确保模型在去学习后的安全性和实用性。

📄 摘要（原文）

Large Language Model (LLM) unlearning is essential for removing sensitive or copyrighted knowledge while preserving general utility. Existing methods often leave residual knowledge in intermediate representations, which can still be recovered. To address this, we propose Cascade, a hierarchical recoverability control framework that minimizes the internal identifiability of target knowledge. Cascade combines three complementary controls: path-level routing to suppress privacy-associated activation routes, representation-level compression to reduce geometric separability, and decoding-level intervention to limit residual recovery. Experiments on TOFU, MUSE-News, and WMDP, including robustness tests with query reformulation and extraction-style prompts, show that Cascade effectively reduces recoverability while maintaining stable model utility.