DP-MIND: Differentially private memory-guided Long context Inference
作者: Zhihao Liu, Yitian Cheng, Shuang Liu, Rui Wen, Yuke Hu, Zhan Qin
分类: cs.AI
发布日期: 2026-10-09
💡 一句话要点
提出DP-MIND以解决长文本差分隐私推理问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 差分隐私 长文本推理 记忆引导 强化学习 自然语言处理 隐私保护 大规模模型
📋 核心要点
- 现有差分隐私推理方法主要针对短文本，难以处理百万标记的长文本，导致隐私保护与实用性之间的矛盾。
- DP-MIND通过局部扰动输入并分块处理，结合记忆引导机制，优化记忆构建策略以应对差分隐私噪声。
- 实验结果显示，DP-MIND在多个长文本基准测试中表现优异，超越了现有的差分隐私和长文本推理基线，提升了可扩展性和实用性。
📝 摘要（中文）
随着LLM-as-a-Service的兴起，用户查询中可能包含敏感信息，导致隐私问题。现有的差分隐私推理方法主要针对短文本，难以处理百万标记的长文本。本文提出DP-MIND，一个基于记忆引导的框架，能够扩展差分隐私推理至百万标记的上下文。DP-MIND通过局部扰动输入并分块处理，利用紧凑的记忆保留任务相关信息。我们通过强化学习优化记忆构建策略，并通过局部去噪模块恢复扰动损坏的答案。理论和实证分析表明，DP-MIND在可扩展性和实用性上优于现有基线。
🔬 方法详解
问题定义：本文旨在解决现有差分隐私推理方法在处理长文本时的局限性，尤其是在百万标记上下文中的隐私保护与信息实用性之间的矛盾。现有方法在长文本处理时面临上下文容量不足和实用性显著下降的问题。
核心思路：DP-MIND的核心思想是通过局部扰动输入并分块处理，结合记忆引导机制来保持任务相关信息，从而实现长文本的差分隐私推理。通过强化学习优化记忆构建策略，使得记忆能够有效抵御差分隐私噪声的影响。
技术框架：DP-MIND的整体架构包括输入扰动模块、分块处理模块和记忆管理模块。输入首先被局部扰动，然后分块处理，每个块通过记忆模块保留上下文信息，最后通过去噪模块恢复答案。
关键创新：DP-MIND的主要创新在于引入记忆引导机制和强化学习优化策略，使得记忆能够在差分隐私噪声下保持一致性和准确性。这一设计显著提高了长文本推理的可行性。
关键设计：在记忆构建中，采用了基于强化学习的策略，损失函数考虑了最终答案的正确性和记忆的一致性。此外，局部去噪模块设计用于恢复扰动损坏的答案，确保不暴露原始上下文。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DP-MIND在多个长文本基准测试中表现优异，尤其在处理百万标记上下文时，性能提升显著。与现有基线相比，DP-MIND在可扩展性和实用性上均有明显改善，展示了其在差分隐私推理中的有效性。
🎯 应用场景
DP-MIND的研究成果在多个领域具有广泛的应用潜力，尤其是在需要保护用户隐私的长文本处理场景中，如医疗记录分析、法律文档审查和社交媒体内容分析等。通过有效的隐私保护，DP-MIND能够推动大规模语言模型在敏感数据处理中的应用，提升用户信任和数据安全性。
📄 摘要（原文）
LLM-as-a-Service has become a dominant paradigm for accessing large language models without requiring local deployment. However, the process raises severe privacy concerns when user queries may include sensitive or confidential contexts. Differential privacy (DP) provides a principled approach to protecting such inputs, but existing DP inference methods are primarily designed for short- or moderate-context settings and struggle with million-token-scale inputs due to limited context capacity and severe utility degradation under DP perturbation. In this paper, we propose DP-MIND, a memory-guided framework that scales differentially private inference to million-token contexts. DP-MIND enables private long-context inference by locally perturbing the input and processing it chunk by chunk with a compact memory that preserves task-relevant information across the sequence. To make this memory robust to DP noise, we optimize the memory construction policy directly on perturbed inputs using reinforcement learning, guided by both final answer correctness and memory consistency. We further recover perturbation-corrupted answer spans through a local denoising module without exposing the original context to the external model. We provide theoretical privacy analysis of DP-MIND and further conduct extensive empirical analysis across multiple long-context benchmarks with context lengths up to the million-token scale, demonstrating that DP-MIND consistently outperforms existing DP and long-context inference baselines in both scalability and utility.