On the Impact of Anonymization on the Performance of Large Language Models
作者: Tobias Deußer, Max Hahnbück, Lorenz Sparrenberg, Tobias Uelwer, Christian Bauckhage, Rafet Sifa
分类: cs.CL, cs.AI
发布日期: 2026-09-10
💡 一句话要点
研究匿名化对大型语言模型性能的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 匿名化 隐私保护 模型性能 可逆技术 任务依赖性 系统性研究
📋 核心要点
- 现有方法对匿名化对大型语言模型性能影响的理解不足，缺乏系统性研究。
- 论文通过对五种语言模型在不同基准上的表现进行比较，提出了隐私与性能之间的权衡分析。
- 实验结果表明，匿名化通常会降低性能，但影响因模型能力和任务类型而异，且可逆匿名化技术表现更佳。
📝 摘要（中文）
随着大型语言模型在敏感领域的广泛应用，保护个人身份信息的匿名化输入数据已成为重要实践。然而，匿名化对模型效用的影响尚不明确。本文系统性地研究了隐私与性能之间的权衡，评估了五种主流语言模型在原始与伪匿名输入下的表现。结果显示，虽然匿名化通常会降低性能，但影响程度因模型和任务而异。更强大的模型如Qwen2.5-72B和GPT-4o mini在性能上遭受较大下降，表明其对特定实体信息的依赖更强。此外，任务依赖性显著：TruthfulQA在匿名化下表现改善，而RGB等检索任务则出现灾难性下降。可逆的匿名化技术显著优于不可逆的技术，明确提示模型关于匿名化的信息并未带来明显益处。我们得出结论，匿名化并非一刀切的解决方案，必须与模型和任务共同设计，以有效平衡隐私与效用。
🔬 方法详解
问题定义：本文旨在解决匿名化对大型语言模型性能影响的不确定性，现有方法未能系统评估这一问题的复杂性。
核心思路：通过对比不同语言模型在原始与伪匿名输入下的表现，探索隐私保护与模型效用之间的平衡。
技术框架：研究设计包括五种主流语言模型的评估，使用了十一种不同的基准任务，分析模型在匿名化处理下的表现差异。
关键创新：提出了可逆与不可逆匿名化技术的比较，发现可逆技术在保持实体唯一性方面显著优于不可逆技术，且明确提示模型关于匿名化的信息未显示出明显的性能提升。
关键设计：在实验中，采用了多种基准任务，设置了不同的输入类型，分析了模型在不同任务下的性能变化，特别关注了模型能力与任务类型对性能影响的交互作用。
🖼️ 关键图片
📊 实验亮点
实验结果显示，强大的模型如Qwen2.5-72B和GPT-4o mini在匿名化处理后性能下降幅度最大，且在TruthfulQA任务中，匿名化反而提升了性能，而在RGB等检索任务中则出现了灾难性下降。可逆匿名化技术的表现显著优于不可逆技术，提供了重要的实证依据。
🎯 应用场景
该研究的潜在应用领域包括医疗、金融等敏感数据处理场景，能够为开发更具隐私意识的AI系统提供重要参考。通过优化匿名化策略，可以在保护用户隐私的同时，提升模型的实际应用效能，推动智能系统的安全性与可靠性。
📄 摘要（原文）
As large language models are increasingly deployed in sensitive domains, anonymizing input data to protect personally identifiable information has become a critical practice. However, the impact of this anonymization on model utility is not well understood. This paper presents a systematic empirical study of the trade-off between privacy and performance. We evaluate five prominent language models across eleven diverse benchmarks, comparing their performance on original versus pseudonymized inputs. Our results reveal that while anonymization generally degrades performance, the effect is highly nuanced. We find that more capable models, such as Qwen2.5-72B and GPT-4o mini, suffer the largest performance drops, suggesting a stronger reliance on specific entity information. The impact is also task-dependent: performance on TruthfulQA improves with anonymization, while retrieval-focused tasks like RGB experience a catastrophic decline. Further experiments show that reversible anonymization techniques that preserve entity uniqueness significantly outperform irreversible ones like redaction, and that explicitly prompting models about anonymization offers no discernible benefit. We conclude that anonymization is not a one-size-fits-all solution and must be co-designed with the model and task in mind to balance privacy and utility effectively. Our findings provide a crucial baseline for developing more robust, privacy-aware AI systems.