Federated Self-Supervised Learning of Monocular Depth Estimators for Autonomous Vehicles

📄 arXiv: 2310.04837v1 📥 PDF

作者: Elton F. de S. Soares, Carlos Alberto V. Campos

分类: cs.CV, cs.AI, cs.DC

发布日期: 2023-10-07

备注: 16 pages, 8 figures, journal preprint

💡 一句话要点

提出FedSCDepth以解决单目深度估计的隐私与效率问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 联邦学习 自监督学习 自动驾驶 隐私保护 深度学习 智能交通系统

📋 核心要点

  1. 现有的单目深度估计方法未能有效利用未标记和私有数据，导致隐私和效率问题。
  2. FedSCDepth结合了联邦学习与深度自监督学习，旨在提高单目深度估计的效率和隐私保护。
  3. 在KITTI数据集上，FedSCDepth的测试损失低于0.13，训练步骤平均仅需1.5k，显示出显著的性能提升。

📝 摘要（中文）

基于图像的深度估计在智能交通系统中的自动驾驶研究中受到广泛关注，因其成本效益高且应用广泛。与需要两个固定摄像头的双目深度估计方法不同，单目深度估计方法仅依赖单个摄像头，具有高度的灵活性。尽管现有的最先进方法利用自监督学习结合姿态估计和语义分割等任务，但尚未探索结合联邦学习与自监督学习以使用自动驾驶车辆捕获的未标记和私有数据进行模型训练。联邦学习的应用提供了显著的隐私保护、减少网络消耗和提高连接问题的弹性。为填补这一空白，我们提出了FedSCDepth，这是一种结合联邦学习和深度自监督的新方法，能够以与当前最先进方法相当的有效性和更高的效率学习单目深度估计器。我们的实验在KITTI数据集的Eigen Split上进行，结果显示该方法的测试损失低于0.13，平均仅需1.5k训练步骤，每轮每辆自动驾驶车辆的数据传输量最高为0.415 GB。

🔬 方法详解

问题定义：本论文旨在解决单目深度估计中未能有效利用私有和未标记数据的问题。现有方法通常依赖于标记数据，限制了其在隐私敏感环境中的应用。

核心思路：FedSCDepth通过结合联邦学习和自监督学习，允许多个自动驾驶车辆在不共享原始数据的情况下共同训练深度估计模型，从而提高隐私保护和训练效率。

技术框架：该方法的整体架构包括数据收集、模型训练和模型更新三个主要阶段。每辆车在本地进行自监督学习，生成深度估计模型，然后通过联邦学习机制将模型更新汇总到中心服务器。

关键创新：FedSCDepth的主要创新在于首次将联邦学习与自监督学习结合，允许在不泄露数据隐私的情况下进行有效的模型训练。这一设计显著提高了模型的适应性和效率。

关键设计：在技术细节上，FedSCDepth采用了特定的损失函数来优化深度估计的准确性，并设计了高效的网络结构以减少计算资源的消耗。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FedSCDepth在KITTI数据集上的测试损失低于0.13，训练步骤平均仅需1.5k，且每轮数据传输量仅为0.415 GB，显示出相较于现有方法的显著效率提升，接近最先进的性能水平。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和机器人导航等。通过提高单目深度估计的效率和隐私保护，FedSCDepth能够在实际应用中更好地满足安全性和性能的需求，推动自动驾驶技术的进一步发展。

📄 摘要（原文）

Image-based depth estimation has gained significant attention in recent research on computer vision for autonomous vehicles in intelligent transportation systems. This focus stems from its cost-effectiveness and wide range of potential applications. Unlike binocular depth estimation methods that require two fixed cameras, monocular depth estimation methods only rely on a single camera, making them highly versatile. While state-of-the-art approaches for this task leverage self-supervised learning of deep neural networks in conjunction with tasks like pose estimation and semantic segmentation, none of them have explored the combination of federated learning and self-supervision to train models using unlabeled and private data captured by autonomous vehicles. The utilization of federated learning offers notable benefits, including enhanced privacy protection, reduced network consumption, and improved resilience to connectivity issues. To address this gap, we propose FedSCDepth, a novel method that combines federated learning and deep self-supervision to enable the learning of monocular depth estimators with comparable effectiveness and superior efficiency compared to the current state-of-the-art methods. Our evaluation experiments conducted on Eigen's Split of the KITTI dataset demonstrate that our proposed method achieves near state-of-the-art performance, with a test loss below 0.13 and requiring, on average, only 1.5k training steps and up to 0.415 GB of weight data transfer per autonomous vehicle on each round.