Privacy Checklist: Privacy Violation Detection Grounding on Contextual Integrity Theory

📄 arXiv: 2408.10053v2 📥 PDF

作者: Haoran Li, Wei Fan, Yulin Chen, Jiayang Cheng, Tianshu Chu, Xuebing Zhou, Peizhao Hu, Yangqiu Song

分类: cs.CL, cs.CR

发布日期: 2024-08-19 (更新: 2025-02-13)

备注: To appear at NAACL 25

💡 一句话要点

提出基于上下文完整性理论的隐私检查清单，利用LLM检测隐私泄露。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 上下文完整性 大型语言模型 隐私检查清单 隐私法规

📋 核心要点

  1. 现有隐私研究多集中于特定领域的攻击与防御，缺乏通用性和对人类实际隐私担忧的覆盖。
  2. 论文提出基于上下文完整性理论的隐私检查清单，将隐私问题视为推理问题，而非模式匹配。
  3. 利用大型语言模型和专家标注，构建涵盖社会身份、私人属性和隐私法规的综合清单，并以HIPAA为例进行验证。

📝 摘要（中文）

随着个人隐私数据在智能设备、社交平台和人工智能应用交互中容易泄露，隐私研究备受关注。计算机科学研究者通常通过对特定领域的隐私攻击和防御来研究隐私问题，例如计算机视觉、自然语言处理和计算机网络等。虽然这些攻击和防御工作揭示了敏感的隐私问题，但它们过于狭隘，无法完全覆盖人们实际的隐私担忧。因此，以人为本的通用隐私研究仍有待探索。本文将隐私问题定义为一个推理问题，而非简单的模式匹配。基于上下文完整性（CI）理论，即人们对隐私的感知与相应的社会环境高度相关，我们开发了第一个综合性的检查清单，涵盖社会身份、私人属性和现有的隐私法规。我们使用完整的《1996年健康保险流通与责任法案》（HIPAA）作为示例，展示了如何利用大型语言模型（LLM）来完全覆盖HIPAA的法规。此外，我们的清单还收集了跨多个本体的专家注释，以确定包括但不限于个人身份信息（PII）在内的私人信息。我们利用在HIPAA上的初步结果，为未来以环境为中心的隐私研究提供启示，以涵盖更多的隐私法规、社会规范和标准。

🔬 方法详解

问题定义：现有隐私研究通常局限于特定领域，例如计算机视觉或自然语言处理，针对这些领域的隐私攻击和防御方法往往无法推广到其他领域。此外，这些研究通常关注技术层面的隐私泄露，而忽略了人们在特定社会环境下的隐私期望，导致研究结果与实际隐私担忧存在差距。因此，需要一种更通用、更以人为本的方法来检测和预防隐私泄露。

核心思路：论文的核心思路是基于上下文完整性（Contextual Integrity, CI）理论，该理论认为人们对隐私的感知与所处的社会环境密切相关。通过理解特定社会环境下的规范和期望，可以更准确地判断是否存在隐私泄露。因此，论文构建了一个隐私检查清单，该清单涵盖了社会身份、私人属性和现有的隐私法规，用于检测潜在的隐私违规行为。

技术框架：该方法主要包含以下几个阶段：1) 隐私要素收集：收集与隐私相关的要素，包括社会身份、私人属性和隐私法规。2) 上下文建模：利用大型语言模型（LLM）对社会环境进行建模，理解不同环境下的隐私规范和期望。3) 隐私检查清单构建：基于收集到的隐私要素和建模的上下文信息，构建一个综合性的隐私检查清单。4) 隐私违规检测：利用隐私检查清单对给定的场景进行分析，判断是否存在隐私违规行为。

关键创新：该方法的关键创新在于将隐私问题视为一个推理问题，而非简单的模式匹配。通过引入上下文完整性理论，该方法能够更准确地理解人们在特定社会环境下的隐私期望，从而更有效地检测隐私泄露。此外，该方法还利用大型语言模型来自动构建隐私检查清单，从而减少了人工标注的工作量。

关键设计：论文使用Health Insurance Portability and Accountability Act of 1996 (HIPAA) 作为案例，展示了如何利用大型语言模型来覆盖 HIPAA 的法规。此外，论文还收集了跨多个 ontologies 的专家注释，以确定包括但不限于 personally identifiable information (PII) 在内的私人信息。具体的技术细节，例如LLM的选取、训练数据、损失函数等，论文中没有详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文以HIPAA为例，展示了利用大型语言模型构建隐私检查清单的可行性。通过专家标注和LLM的结合，能够有效地覆盖HIPAA的法规，并检测潜在的隐私违规行为。虽然论文没有提供具体的性能数据，但初步结果表明，该方法具有良好的应用前景，为未来以环境为中心的隐私研究提供了启示。

🎯 应用场景

该研究成果可应用于智能设备、社交平台和人工智能应用等领域，帮助开发者和用户更好地理解和管理隐私风险。例如，在社交平台上，该方法可以用于检测用户发布的内容是否包含敏感信息，从而避免隐私泄露。在智能设备中，该方法可以用于评估设备收集的数据是否符合隐私法规，从而保护用户隐私。该研究有助于提升公众的隐私保护意识，促进更负责任的人工智能发展。

📄 摘要（原文）

Privacy research has attracted wide attention as individuals worry that their private data can be easily leaked during interactions with smart devices, social platforms, and AI applications. Computer science researchers, on the other hand, commonly study privacy issues through privacy attacks and defenses on segmented fields. Privacy research is conducted on various sub-fields, including Computer Vision (CV), Natural Language Processing (NLP), and Computer Networks. Within each field, privacy has its own formulation. Though pioneering works on attacks and defenses reveal sensitive privacy issues, they are narrowly trapped and cannot fully cover people's actual privacy concerns. Consequently, the research on general and human-centric privacy research remains rather unexplored. In this paper, we formulate the privacy issue as a reasoning problem rather than simple pattern matching. We ground on the Contextual Integrity (CI) theory which posits that people's perceptions of privacy are highly correlated with the corresponding social context. Based on such an assumption, we develop the first comprehensive checklist that covers social identities, private attributes, and existing privacy regulations. Unlike prior works on CI that either cover limited expert annotated norms or model incomplete social context, our proposed privacy checklist uses the whole Health Insurance Portability and Accountability Act of 1996 (HIPAA) as an example, to show that we can resort to large language models (LLMs) to completely cover the HIPAA's regulations. Additionally, our checklist also gathers expert annotations across multiple ontologies to determine private information including but not limited to personally identifiable information (PII). We use our preliminary results on the HIPAA to shed light on future context-centric privacy research to cover more privacy regulations, social norms and standards.