DecTrain: Deciding When to Train a Monocular Depth DNN Online

📄 arXiv: 2410.02980v2 📥 PDF

作者: Zih-Sing Fu, Soumya Sudhakar, Sertac Karaman, Vivienne Sze

分类: cs.LG, cs.RO

发布日期: 2024-10-03 (更新: 2025-02-03)

备注: 8 pages

DOI: 10.1109/LRA.2025.3536206

💡 一句话要点

DecTrain：一种自适应单目深度估计DNN在线训练决策算法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 在线学习 自适应训练 深度神经网络 自监督学习

📋 核心要点

  1. 现有单目深度估计DNN在部署环境与训练数据差异较大时，精度显著下降，需要在线训练适应新环境。
  2. DecTrain通过比较在线训练的成本与预测的精度增益，自适应地决定何时进行在线训练，降低计算开销。
  3. 实验表明，DecTrain在保持精度的同时，显著减少了在线训练的频率，并使小模型能达到大模型的精度水平。

📝 摘要（中文）

深度神经网络(DNN)在部署数据与训练数据存在差异时，精度会下降。虽然在所有时间步执行在线训练可以提高精度，但计算成本很高。我们提出DecTrain，这是一种新的算法，它使用低开销的自监督来决定何时在线训练单目深度DNN。为了在每个时间步做出决策，DecTrain将训练成本与预测的精度增益进行比较。我们在分布外数据上评估DecTrain，发现与在所有时间步进行在线训练相比，DecTrain保持了精度，同时平均只训练了44%的时间。我们还比较了在各种序列上，使用DecTrain的低推理成本DNN和更具泛化能力的高推理成本DNN的恢复情况。DecTrain恢复了所有时间步在线训练的大部分(97%)精度增益，同时减少了计算量，而高推理成本DNN仅恢复了66%。通过使用更小的DNN，我们实现了89%的恢复，同时减少了56%的计算量。DecTrain使低成本在线训练能够让更小的DNN具有与更大、更具泛化能力的DNN相媲美的精度，同时降低了总体计算成本。

🔬 方法详解

问题定义：单目深度估计DNN在实际部署中，由于数据分布偏移（out-of-distribution）问题，模型性能会显著下降。传统的在线训练虽然可以缓解这一问题，但计算开销巨大，尤其是在资源受限的设备上。因此，如何在保证精度的前提下，降低在线训练的计算成本是一个关键问题。现有方法要么采用高计算复杂度的模型以增强泛化性，要么盲目地进行在线训练，效率低下。

核心思路：DecTrain的核心思路是自适应地决定何时进行在线训练。它通过预测在线训练带来的精度增益，并与训练所需的计算成本进行比较，从而做出决策。只有当预测的精度增益大于训练成本时，才进行在线训练。这种方法避免了不必要的训练，从而降低了整体计算开销。

技术框架：DecTrain算法主要包含以下几个阶段：1) 数据收集：收集当前时间步的输入图像。2) 精度增益预测：使用一个轻量级的预测器预测在线训练可能带来的精度增益。3) 成本评估：评估在线训练所需的计算成本。4) 决策：比较预测的精度增益和计算成本，如果精度增益大于成本，则进行在线训练；否则，不进行训练。5) 在线训练（如果决策为训练）：使用自监督的方式对单目深度估计DNN进行在线训练。

关键创新：DecTrain的关键创新在于引入了精度增益预测机制，从而能够自适应地决定何时进行在线训练。与传统的盲目在线训练方法相比，DecTrain能够显著降低计算开销，同时保持甚至提高精度。此外，DecTrain还能够使计算资源有限的小模型，通过更高效的在线训练，达到与计算资源充足的大模型相媲美的性能。

关键设计：精度增益预测器是一个轻量级的神经网络，其输入是当前时间步的图像，输出是预测的精度增益。精度增益可以通过比较在线训练前后的深度估计误差来估计。成本评估主要考虑训练所需的计算时间和能量消耗。决策过程基于一个简单的阈值比较，即当预测的精度增益大于成本时，进行在线训练。在线训练采用自监督的方式，使用光度一致性损失作为训练目标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DecTrain在分布外数据上能够保持与全时在线训练相当的精度，同时平均只训练44%的时间。与高推理成本的DNN相比，DecTrain能够恢复97%的精度增益，同时降低计算量。即使使用更小的DNN，DecTrain也能实现89%的精度恢复，并减少56%的计算量。这些结果表明，DecTrain能够有效地平衡精度和计算成本，为在线学习提供了一种高效的解决方案。

🎯 应用场景

DecTrain算法可应用于自动驾驶、机器人导航、增强现实等领域，尤其是在计算资源受限的移动平台或嵌入式系统中。通过自适应地进行在线训练，DecTrain能够提高单目深度估计的精度和鲁棒性，从而提升相关应用的用户体验和安全性。未来，该算法可以扩展到其他视觉任务和模型，实现更高效的在线学习。

📄 摘要（原文）

Deep neural networks (DNNs) can deteriorate in accuracy when deployment data differs from training data. While performing online training at all timesteps can improve accuracy, it is computationally expensive. We propose DecTrain, a new algorithm that decides when to train a monocular depth DNN online using self-supervision with low overhead. To make the decision at each timestep, DecTrain compares the cost of training with the predicted accuracy gain. We evaluate DecTrain on out-of-distribution data, and find DecTrain maintains accuracy compared to online training at all timesteps, while training only 44% of the time on average. We also compare the recovery of a low inference cost DNN using DecTrain and a more generalizable high inference cost DNN on various sequences. DecTrain recovers the majority (97%) of the accuracy gain of online training at all timesteps while reducing computation compared to the high inference cost DNN which recovers only 66%. With an even smaller DNN, we achieve 89% recovery while reducing computation by 56%. DecTrain enables low-cost online training for a smaller DNN to have competitive accuracy with a larger, more generalizable DNN at a lower overall computational cost.