On-Device Generative AI for GDPR-Compliant Visual Monitoring: Natural Language Alerts from Local Object Detection

📄 arXiv: 2605.30544v1 📥 PDF

作者: Gudrun Schappacher-Tilp, Nicoletta Kaehling, Jan Kornberger, Egon Teiniker

分类: cs.CV, cs.CR

发布日期: 2026-05-28

备注: 6 pages, 4 figures, 3 tables, 1 listing

💡 一句话要点

提出一种GDPR合规的端侧生成式AI视觉监控系统，实现本地目标检测与自然语言警报生成。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 边缘计算 生成式AI 视觉监控 GDPR合规 目标检测 自然语言生成 隐私保护 端侧推理

📋 核心要点

  1. 现有视觉监控系统依赖云端AI推理，暴露原始图像数据，与GDPR的数据最小化原则冲突。
  2. 该方案提出一种完全在边缘设备上进行推理的隐私保护流水线，避免原始图像数据传输。
  3. 实验结果表明，在单板计算机上结合神经网络加速器和端侧LLM，可实现GDPR合规的实时监控。

📝 摘要（中文）

本文提出了一种隐私保护设计的概念验证流水线，旨在解决基于云的AI推理视觉监控系统与通用数据保护条例(GDPR)的数据最小化原则之间的根本矛盾。该方案将所有推理限制在边缘设备上。一个为Hailo-8L AI加速器编译的YOLOv5n-seg模型在Raspberry Pi 5上实现实时目标检测，并在推理后立即丢弃原始像素缓冲区。一个有状态的触发引擎将最小的JSON事件有效载荷转发到本地托管的Phi-3 Mini实例（38亿参数，Q4_0量化），该实例为人类操作员合成一到两句话的自然语言警报。在任何时候都没有图像数据跨越网络边界；只传输生成的文本警报。本文描述了完整的系统架构和实现，报告了目标硬件上的测量推理延迟和资源利用率，并展示了具有代表性的生成警报。结果表明，在单板计算机上结合专用神经网络加速器和端侧大型语言模型不仅是可行的，而且可以产生实际可部署的、人类可读的监控输出，同时在设计上符合GDPR第5(1)(c)条。

🔬 方法详解

问题定义：现有视觉监控系统通常依赖于云端AI进行推理，这需要将原始图像数据传输到外部服务器。这种做法与GDPR的数据最小化原则相悖，因为GDPR要求尽可能减少个人数据的处理。因此，如何在保证监控功能的同时，最大限度地减少数据泄露风险是一个关键问题。

核心思路：本文的核心思路是将所有AI推理过程都限制在边缘设备上进行，避免将原始图像数据传输到云端。通过在本地进行目标检测和自然语言警报生成，只传输生成的文本警报，从而最大限度地保护用户隐私。这种设计符合GDPR的数据最小化原则，降低了数据泄露的风险。

技术框架：该系统的整体架构包括以下几个主要模块：1) YOLOv5n-seg目标检测模型，用于在Raspberry Pi 5上进行实时目标检测；2) Hailo-8L AI加速器，用于加速目标检测模型的推理速度；3) 有状态的触发引擎，用于将目标检测结果转换为JSON事件有效载荷；4) 本地托管的Phi-3 Mini大型语言模型，用于将JSON事件转换为自然语言警报。整个流程在本地完成，没有图像数据离开设备。

关键创新：该方案的关键创新在于将目标检测和自然语言生成结合在边缘设备上，实现完全本地化的AI推理。这避免了将原始图像数据传输到云端，从而最大限度地保护了用户隐私。此外，该方案还优化了模型和硬件，使其能够在资源有限的边缘设备上实现实时推理。

关键设计：YOLOv5n-seg模型被编译为可在Hailo-8L AI加速器上高效运行。Phi-3 Mini模型使用Q4_0量化，以减少模型大小和内存占用。有状态的触发引擎被设计为能够处理连续的事件流，并根据预定义的规则生成警报。系统还进行了优化，以最大限度地减少推理延迟和资源利用率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该系统能够在Raspberry Pi 5上实现实时目标检测和自然语言警报生成。YOLOv5n-seg模型在Hailo-8L AI加速器上的推理延迟较低，资源利用率也得到了有效控制。生成的自然语言警报清晰易懂，能够有效地向人类操作员传达监控信息。该方案在设计上符合GDPR的数据最小化原则，为隐私保护的视觉监控提供了一种可行的解决方案。

🎯 应用场景

该研究成果可应用于各种需要隐私保护的视觉监控场景，例如智能家居、智能工厂、智慧城市等。通过在本地进行AI推理，可以避免将敏感数据传输到云端，从而保护用户隐私。该技术还有助于推动边缘计算和联邦学习的发展，促进更安全、更可靠的AI应用。

📄 摘要（原文）

Visual monitoring systems that rely on cloud-based AI inference expose raw image data to external services, creating fundamental tensions with the data-minimisation principle of the General Data Protection Regulation (GDPR). This paper presents a proof-of-concept privacy-by-design pipeline that resolves this tension by confining all inference entirely to the edge device. A YOLOv5n-seg model compiled for a Hailo-8L AI accelerator delivers real-time object detection on a Raspberry Pi 5, from which raw pixel buffers are immediately discarded after inference. A stateful trigger engine forwards minimal JSON event payloads to a locally hosted instance of Phi-3 Mini (3.8B parameters, Q4_0 quantisation), which synthesises one-to-two sentence natural-language alerts for a human operator. No image data crosses the network boundary at any point; only the generated text alert is transmitted. We describe the full system architecture and implementation, report measured inference latency and resource utilisation on the target hardware, and present representative generated alerts. The results demonstrate that combining a dedicated neural-network accelerator with an on-device large language model on a single-board computer is not only feasible but produces practically deployable, human-readable monitoring output while aligning with GDPR Art. 5(1)(c) by design.