ContextLens: Modeling Imperfect Privacy and Safety Context for Legal Compliance

📄 arXiv: 2604.12308v1 📥 PDF

作者: Haoran Li, Yulin Chen, Huihao Jing, Wenbin Hu, Tsz Ho Li, Chanhou Lou, Hong Ting Tsang, Sirui Han, Yangqiu Song

分类: cs.CL

发布日期: 2026-04-14

备注: Accepted by ACL 26

💡 一句话要点

ContextLens：建模不完善的隐私和安全上下文以实现法律合规

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律合规 大型语言模型 隐私保护 安全评估 上下文建模

📋 核心要点

  1. 现有方法在利用LLM进行安全和隐私评估时，通常假设上下文是完整和清晰的，这与现实世界的模糊和不完整性不符。
  2. ContextLens通过半规则框架，利用LLM将输入上下文置于法律领域，并明确识别已知和未知的法律合规因素。
  3. 实验表明，ContextLens显著提高了LLM的合规性评估能力，超越了现有基线，并且无需任何训练，还能识别模糊和缺失因素。

📝 摘要（中文）

个人对数据隐私和AI安全的担忧具有高度的上下文相关性，并且超出敏感模式的范畴。解决这些问题需要推理上下文，以识别和减轻潜在风险。尽管研究人员广泛探索使用大型语言模型（LLM）作为评估器来进行上下文相关的安全和隐私评估，但这些努力通常假设可以获得完整和清晰的上下文，而现实世界的上下文往往是模糊和不完整的。在本文中，我们提出了ContextLens，这是一个半规则框架，它利用LLM将输入上下文置于法律领域，并明确识别已知和未知的法律合规因素。ContextLens不是直接评估安全结果，而是指示LLM回答一系列精心设计的问题，这些问题涵盖适用性、一般原则和详细规定，以评估是否符合预定义的优先级和规则。我们对涵盖通用数据保护条例（GDPR）和欧盟AI法案的现有合规基准进行了广泛的实验。结果表明，我们的ContextLens可以显着提高LLM的合规性评估，并超越现有的基线，而无需任何训练。此外，我们的ContextLens还可以进一步识别模糊和缺失的因素。

🔬 方法详解

问题定义：现有方法在利用大型语言模型（LLM）进行上下文相关的安全和隐私评估时，通常假设可以获得完整和清晰的上下文。然而，现实世界的上下文往往是模糊和不完整的，这导致LLM在法律合规性评估方面表现不佳。因此，需要一种能够处理不完善上下文的方法，以提高LLM在法律合规性评估中的准确性和可靠性。

核心思路：ContextLens的核心思路是利用LLM将输入上下文置于法律领域，并明确识别已知和未知的法律合规因素。它通过一系列精心设计的问题，涵盖适用性、一般原则和详细规定，来评估是否符合预定义的优先级和规则。这种方法不是直接评估安全结果，而是通过分解问题，更细粒度地评估LLM的理解和推理能力。

技术框架：ContextLens是一个半规则框架，主要包含以下几个阶段：1) 上下文输入：接收需要评估的上下文信息。2) 法律领域 grounding：利用LLM将输入上下文与相关的法律条款和原则进行关联。3) 问题生成：根据预定义的优先级和规则，生成一系列针对法律合规性的问题。4) LLM回答：指示LLM回答生成的问题。5) 合规性评估：根据LLM的回答，评估上下文是否符合法律要求。6) 因素识别：识别模糊和缺失的因素，为进一步的分析和改进提供依据。

关键创新：ContextLens的关键创新在于它能够处理不完善的上下文，并明确识别已知和未知的法律合规因素。与现有方法相比，ContextLens不是直接评估安全结果，而是通过一系列精心设计的问题，更细粒度地评估LLM的理解和推理能力。此外，ContextLens还能够识别模糊和缺失的因素，为进一步的分析和改进提供依据。

关键设计：ContextLens的关键设计包括：1) 问题设计：精心设计一系列问题，涵盖适用性、一般原则和详细规定，以全面评估法律合规性。2) 优先级和规则定义：预定义优先级和规则，以指导问题的生成和合规性评估。3) LLM选择：选择合适的LLM，并进行适当的prompt工程，以提高LLM的回答质量。4) 因素识别机制：设计有效的机制，以识别模糊和缺失的因素。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，ContextLens在现有的合规基准上显着提高了LLM的合规性评估能力，超越了现有的基线，而无需任何训练。具体而言，ContextLens在GDPR和欧盟AI法案的合规性评估中均取得了显著的提升。此外，ContextLens还能够识别模糊和缺失的因素，为进一步的分析和改进提供依据。

🎯 应用场景

ContextLens可应用于各种需要法律合规性评估的场景，例如数据隐私保护、AI系统安全评估、金融风险管理等。它可以帮助企业和组织更好地理解和遵守相关法律法规，降低法律风险，并提高AI系统的安全性和可靠性。未来，ContextLens可以进一步扩展到其他法律领域，并与其他AI技术相结合，实现更智能化的法律合规性管理。

📄 摘要（原文）

Individuals' concerns about data privacy and AI safety are highly contextualized and extend beyond sensitive patterns. Addressing these issues requires reasoning about the context to identify and mitigate potential risks. Though researchers have widely explored using large language models (LLMs) as evaluators for contextualized safety and privacy assessments, these efforts typically assume the availability of complete and clear context, whereas real-world contexts tend to be ambiguous and incomplete. In this paper, we propose ContextLens, a semi-rule-based framework that leverages LLMs to ground the input context in the legal domain and explicitly identify both known and unknown factors for legal compliance. Instead of directly assessing safety outcomes, our ContextLens instructs LLMs to answer a set of crafted questions that span over applicability, general principles and detailed provisions to assess compliance with pre-defined priorities and rules. We conduct extensive experiments on existing compliance benchmarks that cover the General Data Protection Regulation (GDPR) and the EU AI Act. The results suggest that our ContextLens can significantly improve LLMs' compliance assessment and surpass existing baselines without any training. Additionally, our ContextLens can further identify the ambiguous and missing factors.