Towards Context-Aware Image Anonymization with Multi-Agent Reasoning
作者: Robert Aufschläger, Jakob Folz, Gautam Savaliya, Manjitha D Vidanalage, Michael Heigl, Martin Schramm
分类: cs.CV, cs.AI, cs.CR
发布日期: 2026-04-07
💡 一句话要点
提出CAIAMAR框架，利用多智能体推理实现上下文感知的图像匿名化，保护个人身份信息。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 图像匿名化 多智能体系统 上下文感知 扩散模型 个人身份信息保护
📋 核心要点
- 现有匿名化方法要么过度处理图像，要么遗漏细微的标识符，而基于API的解决方案会损害数据主权，无法有效保护上下文相关的个人身份信息。
- CAIAMAR框架采用多智能体推理，结合预定义处理和扩散模型，实现上下文感知的PII分割和匿名化，从而更准确地识别和处理敏感信息。
- 实验表明，CAIAMAR框架在降低人员重新识别风险和保持图像质量方面均优于现有方法，并在CUHK03-NP和CityScapes数据集上取得了显著提升。
📝 摘要（中文）
本文提出一个名为CAIAMAR（上下文感知的图像匿名化与多智能体推理）的agentic框架，用于上下文感知的个人身份信息（PII）分割，并结合基于扩散的匿名化方法。该框架结合了针对高置信度情况的预定义处理，以及针对间接标识符的多智能体推理。三个专门的智能体通过Plan-Do-Check-Act (PDCA)循环中的循环发言人选择进行协调，使大型视觉-语言模型能够基于空间上下文（私人与公共财产）而不是严格的类别规则来分类PII。这些智能体实现了空间过滤的由粗到精检测，其中侦察和缩放策略识别候选对象，开放词汇分割处理局部裁剪，而基于IoU的去重（30%阈值）可防止冗余处理。具有外观去相关的模态特定扩散指导显著降低了重新识别（Re-ID）的风险。在CUHK03-NP数据集上，我们的方法将人员Re-ID风险降低了73%（R1：16.9% vs. 62.4% 基线）。对于CityScapes上的图像质量保持，我们实现了KID：0.001和FID：9.1，显著优于现有的匿名化方法。该agentic工作流程检测跨对象类别的非直接PII实例，并保留下游语义分割。该框架完全在本地使用开源模型运行，生成人类可解释的审计跟踪，支持欧盟的GDPR透明度要求，同时标记失败案例以供人工审查。
🔬 方法详解
问题定义：论文旨在解决街景图像中个人身份信息（PII）匿名化的问题。现有方法要么过度处理图像导致信息丢失，要么无法识别间接的、上下文相关的PII，同时依赖API的解决方案存在数据安全隐患。因此，需要一种既能有效保护PII，又能保持图像质量，且保证数据主权的匿名化方法。
核心思路：论文的核心思路是利用多智能体推理来模拟人类的上下文感知能力，从而更准确地识别和处理PII。通过多个智能体之间的协同工作，可以结合空间上下文信息，避免过度处理或遗漏关键信息。同时，使用扩散模型进行匿名化，可以在保护隐私的同时保持图像的真实感。
技术框架：CAIAMAR框架包含三个主要智能体：侦察智能体（Scout Agent）、分割智能体（Segmentation Agent）和去重智能体（Deduplication Agent）。这些智能体通过Plan-Do-Check-Act (PDCA)循环进行协调。侦察智能体负责粗略地检测潜在的PII区域，分割智能体对这些区域进行精细的分割，去重智能体负责去除冗余的检测结果。最后，使用扩散模型对分割出的PII区域进行匿名化处理。
关键创新：该方法最重要的创新点在于引入了多智能体推理机制，使得系统能够根据上下文信息来判断是否属于PII。与传统的基于类别规则的匿名化方法不同，CAIAMAR框架能够识别非直接的、依赖于上下文的PII，例如，在私人住宅前的车辆可能被认为是PII，而在公共道路上的车辆则不被认为是PII。
关键设计：框架的关键设计包括：1) 空间过滤的由粗到精检测策略，利用侦察智能体进行快速定位，分割智能体进行精细分割；2) 基于IoU的去重机制，避免重复处理；3) 模态特定的扩散指导，通过外观去相关降低重新识别的风险；4) 使用开源模型进行本地部署，保证数据主权和透明度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CAIAMAR框架在CUHK03-NP数据集上将人员重新识别风险降低了73%（R1：16.9% vs. 62.4% 基线）。在CityScapes数据集上，该框架实现了KID：0.001和FID：9.1，显著优于现有的匿名化方法，表明该框架在保护隐私的同时，能够有效保持图像质量。
🎯 应用场景
CAIAMAR框架可应用于自动驾驶、城市规划、智能交通等领域，在这些领域中，街景图像的匿名化处理至关重要。该框架能够有效保护个人隐私，同时保持图像的可用性，促进相关技术的发展和应用。此外，该框架生成的审计跟踪可以满足欧盟GDPR等法规的透明度要求。
📄 摘要（原文）
Street-level imagery contains personally identifiable information (PII), some of which is context-dependent. Existing anonymization methods either over-process images or miss subtle identifiers, while API-based solutions compromise data sovereignty. We present an agentic framework CAIAMAR (\underline{C}ontext-\underline{A}ware \underline{I}mage \underline{A}nonymization with \underline{M}ulti-\underline{A}gent \underline{R}easoning) for context-aware PII segmentation with diffusion-based anonymization, combining pre-defined processing for high-confidence cases with multi-agent reasoning for indirect identifiers. Three specialized agents coordinate via round-robin speaker selection in a Plan-Do-Check-Act (PDCA) cycle, enabling large vision-language models to classify PII based on spatial context (private vs. public property) rather than rigid category rules. The agents implement spatially-filtered coarse-to-fine detection where a scout-and-zoom strategy identifies candidates, open-vocabulary segmentation processes localized crops, and $IoU$-based deduplication ($30\%$ threshold) prevents redundant processing. Modal-specific diffusion guidance with appearance decorrelation substantially reduces re-identification (Re-ID) risks. On CUHK03-NP, our method reduces person Re-ID risk by $73\%$ ($R1$: $16.9\%$ vs. $62.4\%$ baseline). For image quality preservation on CityScapes, we achieve KID: $0.001$, and FID: $9.1$, significantly outperforming existing anonymization. The agentic workflow detects non-direct PII instances across object categories, and downstream semantic segmentation is preserved. Operating entirely on-premise with open-source models, the framework generates human-interpretable audit trails supporting EU's GDPR transparency requirements while flagging failed cases for human review.