Privacy-Preserving Semantic Segmentation from High-Resolution Depth and Ultra-Low-Resolution RGB

📄 arXiv: 2609.28360v1 📥 PDF

作者: Xuying Huang, Swithinraj Moses Daniel, Sicong Pan, Sebastian Houben, Maren Bennewitz

分类: cs.CV, cs.RO

发布日期: 2026-09-23

备注: Xuying Huang and Swithinraj Moses Daniel have equal contribution

💡 一句话要点

提出高分辨率深度与超低分辨率RGB结合的隐私保护语义分割方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 语义分割 深度学习 多模态融合 机器人导航

📋 核心要点

  1. 现有方法在隐私保护与语义理解之间存在信息不平衡，导致场景理解困难。
  2. 提出结合高分辨率深度与超低分辨率RGB的非对称传感设置，利用HR几何引导RGB重建。
  3. 实验表明，该方法在ScanNet上实现了最佳的2D和3D分割性能，并有效降低了敏感数据的可恢复性。

📝 摘要（中文）

随着移动机器人越来越多地融入日常环境，来自车载摄像头的隐私风险日益受到关注。超低分辨率（ULR）RGB可以在源头上减轻视觉隐私暴露，但仅依靠ULR外观会显著限制语义和空间理解。因此，本文提出了一种隐私保护的非对称传感设置，结合高分辨率（HR）深度与ULR RGB，保留密集几何信息，同时限制细粒度视觉信息。为了解决HR深度与ULR RGB之间严重的信息不平衡，本文提出了一种联合2D框架，利用HR几何信息指导语义导向的RGB重建和RGB-D分割。实验结果表明，该方法在隐私保护方法中实现了最佳的2D和3D分割性能，并在SUN RGB-D和SceneNN上实现了最强的零样本迁移。

🔬 方法详解

问题定义：本论文旨在解决在移动机器人应用中，如何在保护隐私的同时实现有效的语义分割。现有方法往往面临HR深度与ULR RGB之间的信息不平衡，导致语义理解的准确性下降。

核心思路：论文提出了一种结合HR深度与ULR RGB的非对称传感设置，通过HR几何信息来指导RGB的重建和分割，从而在保护隐私的同时提高语义理解能力。

技术框架：整体架构包括两个主要模块：首先是HR深度引导的RGB重建模块，其次是基于重建结果的RGB-D分割模块。通过这两个模块的协同工作，实现了从2D到3D的语义特征整合。

关键创新：最重要的创新在于提出了一种有效的2D到3D的端到端管道，能够在隐私保护的条件下实现高效的3D分割。这一方法与传统的单一模态处理方法有本质区别。

关键设计：在网络结构上，采用了特定的损失函数来平衡HR深度与ULR RGB之间的信息流，同时优化了网络的参数设置，以确保在隐私保护的前提下实现最佳的分割性能。通过实验验证了这些设计的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在ScanNet数据集上实现了最佳的2D和3D分割性能，相较于其他隐私保护方法，提升幅度显著。此外，该方法在SUN RGB-D和SceneNN上实现了强大的零样本迁移能力，展示了其良好的泛化性能。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在智能家居、自动驾驶和服务机器人等领域。通过有效的隐私保护与语义理解结合，能够提升机器人在复杂环境中的导航和交互能力，确保用户隐私的同时提供高效的服务。未来，该方法可进一步推广至更多需要隐私保护的视觉任务中。

📄 摘要（原文）

As mobile robots become increasingly integrated into everyday environments, privacy risks arising from onboard cameras have become a growing concern. Ultra-low-resolution (ULR) RGB can mitigate visual privacy exposure at the source, but ULR appearance alone substantially limits semantic and spatial understanding. We therefore introduce a privacy-preserving asymmetric sensing setting that combines high-resolution (HR) depth with ULR RGB, preserving dense geometry while restricting fine-grained visual information. To address the severe information imbalance between HR depth and ULR RGB, we propose a joint 2D framework using HR geometry to guide semantic-oriented RGB reconstruction and RGB-D segmentation. Despite reliable frame-level predictions, consistent scene-level understanding remains challenging under the asymmetric HR depth--ULR RGB setting. We therefore develop an end-to-end 2D-to-3D pipeline that consolidates 2D semantic features for 3D segmentation. Experiments on ScanNet show that our method achieves the best 2D and 3D segmentation performance among privacy-preserving approaches and delivers the strongest zero-shot transfer to SUN RGB-D and SceneNN. Privacy recoverability analysis shows that our proposed HR depth--ULR RGB input reduces the recoverability of sensitive data, and real-robot experiments demonstrate the utility of the resulting 3D semantics for object-goal navigation.