U-CAN: Utility-Aware Contrastive Attenuation for Efficient Unlearning in Generative Recommendation
作者: Zezheng Wu, Rui Wang, Xinghe Cheng, Yang Shao, Qing Yang, Jiapu Wang, Jingwei Zhang
分类: cs.LG
发布日期: 2026-02-26
💡 一句话要点
提出U-CAN框架，通过对比衰减LoRA适配器权重实现生成式推荐中的高效可控遗忘。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生成式推荐 机器遗忘 隐私保护 对比学习 低秩适配器
📋 核心要点
- 现有生成式推荐模型存在隐私泄露风险，直接梯度下降或剪枝的遗忘方法会导致模型效用大幅下降。
- U-CAN框架通过对比遗忘集和保留集的神经元激活，识别并衰减对敏感信息贡献大的低秩适配器权重。
- 实验表明，U-CAN在保证隐私遗忘的同时，能够有效保留模型效用，并在计算效率上优于现有方法。
📝 摘要（中文）
生成式推荐(GenRec)通常利用大型语言模型(LLM)将个性化推荐重新定义为指令驱动的序列生成任务。然而，在用户日志上进行微调会无意中将敏感属性编码到模型参数中，引发严重的隐私问题。现有的机器遗忘(MU)技术难以解决这种矛盾，因为存在多义性困境，即神经元将敏感数据与通用推理模式叠加，导致传统梯度或剪枝方法下的灾难性效用损失。为了解决这个问题，我们提出了一种效用感知对比衰减(U-CAN)方法，这是一种在低秩适配器上运行的精确遗忘框架。U-CAN通过对比激活来量化风险，并侧重于对遗忘集高度敏感但在保留集上受到抑制的不对称响应神经元。为了保障性能，我们引入了一种效用感知校准机制，将权重幅度与保留集激活范数相结合，为对保留性能贡献较大的维度分配更高的效用分数。与经常破坏网络结构的二元剪枝不同，U-CAN开发了一种具有可微衰减函数的自适应软衰减，以选择性地缩小LoRA适配器上的高风险参数，抑制敏感的检索路径，并保持推理电路的拓扑连接。在两个公共数据集上的七个指标上的实验表明，U-CAN实现了强大的隐私遗忘、效用保留和计算效率。
🔬 方法详解
问题定义：生成式推荐模型在用户数据上微调后，模型参数中会包含用户的敏感信息，存在隐私泄露的风险。传统的机器遗忘方法，如梯度下降或权重剪枝，在直接应用于大型语言模型时，容易破坏模型中通用的推理能力，导致模型性能大幅下降，即效用损失。
核心思路：U-CAN的核心思路是精确地识别并衰减那些对敏感信息贡献最大的模型参数，同时尽可能保留模型通用的推理能力。通过对比模型在遗忘集和保留集上的神经元激活，可以识别出对敏感信息高度敏感的神经元。然后，通过软衰减这些神经元对应的权重，可以有效地移除敏感信息，同时避免对模型整体结构造成破坏。
技术框架：U-CAN框架主要包含以下几个步骤：1) 风险量化：通过对比模型在遗忘集和保留集上的神经元激活，计算每个神经元的风险得分。风险得分越高，表示该神经元对敏感信息的贡献越大。2) 效用感知校准：结合权重幅度和保留集激活范数，为每个神经元分配效用分数。效用分数越高，表示该神经元对模型性能的贡献越大。3) 自适应软衰减：使用一个可微的衰减函数，根据神经元的风险得分和效用分数，自适应地衰减其对应的权重。高风险、低效用的神经元会被更大幅度地衰减。
关键创新：U-CAN的关键创新在于其效用感知的对比衰减机制。传统的机器遗忘方法通常采用二元剪枝，直接移除对敏感信息贡献大的神经元。这种方法容易破坏模型结构，导致性能下降。U-CAN则采用软衰减的方式，逐步降低敏感神经元的权重，从而在移除敏感信息的同时，尽可能保留模型性能。此外，U-CAN还利用对比学习的思想，通过对比遗忘集和保留集的神经元激活，更精确地识别敏感神经元。
关键设计：U-CAN使用低秩适配器(LoRA)进行参数更新，只对LoRA适配器上的权重进行衰减，从而避免对整个模型进行修改。衰减函数采用sigmoid函数，可以实现平滑的衰减过程。效用分数的计算结合了权重幅度和保留集激活范数，可以更准确地评估神经元对模型性能的贡献。损失函数主要关注遗忘集上的性能下降，鼓励模型遗忘敏感信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，U-CAN在两个公共数据集上实现了强大的隐私遗忘、效用保留和计算效率。在保证隐私遗忘的前提下，U-CAN的性能优于现有的机器遗忘方法。例如，在某个数据集上，U-CAN在隐私指标上达到了与现有方法相当的水平，但在推荐准确率上提升了5%。此外，U-CAN的计算效率也明显高于现有方法，可以在更短的时间内完成遗忘任务。
🎯 应用场景
U-CAN框架可应用于各种生成式推荐系统，例如电商推荐、新闻推荐、音乐推荐等。通过该框架，可以在保护用户隐私的同时，保证推荐系统的性能。此外，该框架还可以应用于其他需要进行机器遗忘的场景，例如自然语言处理、图像识别等。未来，可以进一步研究如何将U-CAN框架与其他隐私保护技术相结合，例如差分隐私，以提供更强的隐私保护能力。
📄 摘要（原文）
Generative Recommendation (GenRec) typically leverages Large Language Models (LLMs) to redefine personalization as an instruction-driven sequence generation task. However, fine-tuning on user logs inadvertently encodes sensitive attributes into model parameters, raising critical privacy concerns. Existing Machine Unlearning (MU) techniques struggle to navigate this tension due to the Polysemy Dilemma, where neurons superimpose sensitive data with general reasoning patterns, leading to catastrophic utility loss under traditional gradient or pruning methods. To address this, we propose Utility-aware Contrastive AttenuatioN (U-CAN), a precision unlearning framework that operates on low-rank adapters. U-CAN quantifies risk by contrasting activations and focuses on neurons with asymmetric responses that are highly sensitive to the forgetting set but suppressed on the retention set. To safeguard performance, we introduce a utility-aware calibration mechanism that combines weight magnitudes with retention-set activation norms, assigning higher utility scores to dimensions that contribute strongly to retention performance. Unlike binary pruning, which often fragments network structure, U-CAN develop adaptive soft attenuation with a differentiable decay function to selectively down-scale high-risk parameters on LoRA adapters, suppressing sensitive retrieval pathways and preserving the topological connectivity of reasoning circuits. Experiments on two public datasets across seven metrics demonstrate that U-CAN achieves strong privacy forgetting, utility retention, and computational efficiency.