To Redact, or not to Redact? A Local LLM Approach to Deliberative Process Privilege Classification
作者: Maik Larooij, David Graus
分类: cs.CL, cs.AI, cs.IR
发布日期: 2026-05-11
备注: Accepted to The First Workshop on Artificial Intelligence & Open Government at the 21st International Conference on Artificial Intelligence and Law (ICAIL), June 8, 2026, Singapore
💡 一句话要点
提出基于本地化Qwen3.5模型与思维链提示的审议过程特权自动分类方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 本地化部署 提示工程 法律科技 敏感信息分类 思维链 数据隐私
📋 核心要点
- 现有政府文档脱敏依赖人工或云端API，前者效率低下，后者在处理未公开敏感数据时面临严峻的法律合规与数据隐私挑战。
- 提出一种基于本地化部署的轻量级LLM方案，通过结合思维链提示与基于错误的少样本学习，实现对审议过程特权的精准分类。
- 实验表明该方法在召回率和F2指标上超越传统分类模型，且在消费级硬件上实现了与商业模型相媲美的性能表现。
📝 摘要（中文）
政府透明度法律（如美国的FOIA、荷兰的Woo）赋予公民获取政府文档的权利，但政府需在发布前对敏感信息进行脱敏。本文针对FOIA第5项豁免条款（审议过程特权），探讨了利用大语言模型（LLM）进行自动敏感性分类的可行性。考虑到处理未公开文档时使用第三方云端API存在法律与政治风险，本研究采用可在消费级硬件上部署的轻量化模型（Qwen3.5 9B）。研究对比了八种提示工程变体，发现思维链（CoT）与基于错误的少样本提示（Few-shot prompting）相结合，在召回率和F2分数上优于既往分类模型，且性能接近商业模型Gemini 2.5 Flash。此外，分析表明审议性文本通常包含更多表达意见的动词及第一人称表述，尤其是两者结合时，是识别审议过程的关键特征。
🔬 方法详解
问题定义：论文旨在解决政府文档处理中“审议过程特权”（Deliberative Process Privilege）的自动识别问题。核心痛点在于，政府文档包含高度敏感信息，使用第三方云端API进行分类存在严重的合规性风险与数据泄露隐患。
核心思路：采用“本地化优先”策略，利用Qwen3.5 9B等轻量级模型在本地硬件上完成分类任务。通过优化提示工程（Prompt Engineering），挖掘模型在推理能力上的潜力，以弥补模型参数规模较小带来的性能损失。
技术框架：整体流程包括文档预处理、提示词构建、模型推理与结果评估。研究对比了八种不同的提示策略，包括零样本、少样本、思维链（CoT）以及结合错误分析的少样本提示，旨在构建一个无需微调即可高效工作的分类流水线。
关键创新：引入了“基于错误的少样本提示”（Error-based few-shot prompting），即在提示词中显式包含模型易错案例的解析，显著提升了模型对复杂审议逻辑的判别能力。同时，通过语言学特征分析，揭示了第一人称代词与意见表达动词的共现是审议过程的强判别特征。
关键设计：模型选用Qwen3.5 9B，确保在消费级GPU上可运行。评估指标重点关注召回率（Recall）和F2分数，以适应法律场景中对敏感信息“宁漏勿错”的严苛要求。提示词设计中强制要求模型输出推理过程，从而引导模型关注文本的语用特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，结合思维链与基于错误的少样本提示策略，在审议过程分类任务中表现优异，其召回率与F2分数显著超越了传统机器学习分类器。该方法在消费级硬件上实现了与Gemini 2.5 Flash等高性能商业模型相当的分类效果，证明了轻量化本地模型在处理高敏感度法律任务中的巨大潜力。
🎯 应用场景
该研究直接服务于政府机构的自动化文档审查流程，可显著降低FOIA等信息公开请求的处理成本与时间。此外，该方法在企业内部合规审查、法律文档自动化分类以及敏感数据治理领域具有广泛的推广价值，为处理高隐私需求的数据分类任务提供了安全、可控的本地化解决方案。
📄 摘要（原文）
Government transparency laws, like the Freedom of Information (FOIA) acts in the United States and United Kingdom, and the Woo (Open Government Act) in the Netherlands, grant citizens the right to directly request documents from the government. As these documents might contain sensitive information, such as personal information or threats to national security, the laws allow governments to redact sensitive parts of the documents prior to release. We build on prior research to perform automatic sensitivity classification for the FOIA Exemption 5 deliberative process privilege using Large Language Models (LLMs). However, processing documents not yet cleared for review via third-party cloud APIs is often legally or politically untenable. Therefore, in this work, we perform sensitivity classification with a small, local model, deployable on consumer-grade hardware (Qwen3.5 9B). We compare eight variants of applying LLMs for sentence classification, using well-known prompting techniques, and find that a combination of Chain-of-Thought prompting and few-shot prompting with error-based examples outperforms classification models of earlier work in terms of recall and F2 score. This method also closely approaches the performance of a widely-used, cost-efficient commercial model (Gemini 2.5 Flash). In an additional analysis, we find that sentences that are predicted as deliberative contain more verbs that indicate the expression of opinions, and are more often phrased in in first-person. Above all, deliberativeness seems characterized by the presence of a combination of multiple indicators, in particular the combination of first-person words with a verb for expressing opinion.