Permissioned LLMs: Enforcing Access Control in Large Language Models

📄 arXiv: 2505.22860v2 📥 PDF

作者: Bargav Jayaraman, Virendra J. Marathe, Hamid Mozaffari, William F. Shen, Krishnaram Kenthapadi

分类: cs.CR, cs.AI, cs.LG

发布日期: 2025-05-28 (更新: 2025-10-03)

💡 一句话要点

提出Permissioned LLMs，在大型语言模型中强制执行访问控制，保障企业数据安全。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 访问控制 大型语言模型 权限管理 数据安全 参数高效微调

📋 核心要点

  1. 企业数据访问控制在LLM微调后易失效，无法保证不同权限用户的数据安全。
  2. PermLLM通过叠加访问控制结构于LLM响应，确保查询结果符合用户权限。
  3. 实验证明PermLLM机制有效，并提出DDI和UGI指标量化访问控制效果。

📝 摘要（中文）

在企业环境中，组织数据被隔离、分仓并受到精细的访问控制框架的保护。如果一个在这些隔离数据上微调的LLM为具有不同访问权限的个人提供下游任务的请求服务，这些访问控制结构可能会完全崩溃。我们提出了Permissioned LLMs (PermLLM)，这是一类新型的LLM，它将组织数据访问控制结构叠加在它们生成的查询响应上。我们形式化了支撑手段的抽象，以确定访问控制是否在LLM查询响应上正确执行。我们的形式化引入了相关响应的概念，可用于证明PermLLM机制是否已正确实施。我们还引入了一种名为访问优势的新指标，以经验性地评估PermLLM机制的有效性。我们介绍了三种基于参数高效微调的新型PermLLM机制，以实现所需的访问控制。此外，我们还提出了访问优势的两种实例化——(i)基于成员推理攻击的域区分度指数(DDI)，以及(ii)基于LLM效用评估的效用差距指数(UGI)。我们通过对五个公共数据集(GPQA、RCV1、SimpleQA、WMDP和PubMedQA)进行的大量实验，证明了我们的PermLLM机制的有效性，此外，我们还评估了DDI和UGI指标本身在量化LLM中的访问控制方面的有效性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在企业环境中应用时，如何保证数据访问控制的问题。现有方法，特别是直接在企业内部的隔离数据上进行微调的LLM，无法区分用户的访问权限，可能导致低权限用户访问到高权限数据，从而违反企业的数据安全策略。现有方法缺乏对LLM输出内容进行权限控制的有效机制。

核心思路：论文的核心思路是将组织的数据访问控制结构叠加到LLM生成的查询响应上。这意味着LLM不仅要生成高质量的答案，还要确保这些答案符合请求用户的访问权限。通过这种方式，PermLLM能够根据用户的权限过滤或修改LLM的输出，从而避免敏感信息的泄露。

技术框架：PermLLM的技术框架主要包括三个部分：首先是确定用户权限和数据访问控制策略；其次是设计PermLLM机制，该机制能够理解并执行这些访问控制策略；最后是评估PermLLM机制的有效性。论文提出了三种基于参数高效微调的PermLLM机制，具体实现细节未知。同时，论文还提出了两种评估指标：域区分度指数（DDI）和效用差距指数（UGI），用于量化PermLLM的访问控制效果。

关键创新：论文的关键创新在于提出了Permissioned LLMs (PermLLM)这一概念，并设计了相应的机制来实现访问控制。与现有方法相比，PermLLM不是简单地依赖于底层数据的访问控制，而是将访问控制集成到LLM的生成过程中，从而能够更精细地控制LLM的输出内容。此外，论文提出的DDI和UGI指标也为评估LLM的访问控制效果提供了新的工具。

关键设计：论文中PermLLM机制的具体设计细节未知，但强调了参数高效微调的重要性，这表明PermLLM可能采用了LoRA等技术，以在不修改整个LLM模型的情况下实现访问控制。DDI指标基于成员推理攻击，通过衡量LLM输出对不同权限用户的区分度来评估访问控制效果。UGI指标则通过比较不同权限用户在使用LLM时的效用差距来评估访问控制效果。具体的损失函数、网络结构等细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在五个公共数据集（GPQA、RCV1、SimpleQA、WMDP和PubMedQA）上的实验，验证了PermLLM机制的有效性。虽然具体的性能数据未知，但实验结果表明PermLLM能够在保证LLM效用的同时，有效地执行访问控制。此外，论文还验证了DDI和UGI指标在量化LLM访问控制方面的有效性，为后续研究提供了参考。

🎯 应用场景

PermLLM在金融、医疗、法律等对数据安全和隐私要求极高的行业具有广泛的应用前景。它可以帮助企业安全地利用LLM进行知识检索、智能客服、报告生成等任务，同时确保敏感数据不被未授权用户访问。未来，PermLLM有望成为企业级LLM应用的标准配置，推动LLM在更多场景下的落地。

📄 摘要（原文）

In enterprise settings, organizational data is segregated, siloed and carefully protected by elaborate access control frameworks. These access control structures can completely break down if an LLM fine-tuned on the siloed data serves requests, for downstream tasks, from individuals with disparate access privileges. We propose Permissioned LLMs (PermLLM), a new class of LLMs that superimpose the organizational data access control structures on query responses they generate. We formalize abstractions underpinning the means to determine whether access control enforcement happens correctly over LLM query responses. Our formalism introduces the notion of a relevant response that can be used to prove whether a PermLLM mechanism has been implemented correctly. We also introduce a novel metric, called access advantage, to empirically evaluate the efficacy of a PermLLM mechanism. We introduce three novel PermLLM mechanisms that build on Parameter Efficient Fine-Tuning to achieve the desired access control. We furthermore present two instantiations of access advantage--(i) Domain Distinguishability Index (DDI) based on Membership Inference Attacks, and (ii) Utility Gap Index (UGI) based on LLM utility evaluation. We demonstrate the efficacy of our PermLLM mechanisms through extensive experiments on five public datasets (GPQA, RCV1, SimpleQA, WMDP, and PubMedQA), in addition to evaluating the validity of DDI and UGI metrics themselves for quantifying access control in LLMs.