Rebalancing gradient to improve self-supervised co-training of depth, odometry and optical flow predictions
作者: Marwane Hariat, Antoine Manzanera, David Filliat
分类: cs.CV
发布日期: 2026-05-08
💡 一句话要点
CoopNet：通过重平衡梯度提升深度、里程计和光流联合自监督学习。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 自监督学习 深度估计 里程计 光流 联合训练 梯度重平衡 运动估计
📋 核心要点
- 现有自监督深度估计、里程计和光流方法在联合训练时，可能存在学习不均衡问题，阻碍整体性能提升。
- CoopNet通过动态调整梯度分配，实现网络间的公平学习进度，核心思想是基于光度重建误差分布建模移动对象。
- 在KITTI和CityScapes数据集上的实验表明，CoopNet在深度、里程计和光流预测方面取得了显著提升，达到或超越了当前最佳水平。
📝 摘要（中文）
本文提出CoopNet，一种通过动态调整梯度分配来改善联合训练网络合作的方法，以确保公平的学习进度。它通过引入一种新的混合损失应用于运动感知的深度图自监督预测，该混合损失基于深度+里程计配对网络和光流网络的光度重建误差的分布模型。该模型本质上假设，移动对象中的像素（必须丢弃以进行深度和里程计训练）对应于两个重建结果强烈不一致的像素。我们通过理论考虑和实验证据证明了该模型的合理性。在KITTI和CityScapes数据集上的比较评估表明，CoopNet在深度、里程计和光流预测方面优于或可与最先进水平相媲美。
🔬 方法详解
问题定义：现有的自监督深度估计、里程计和光流的联合训练方法中，由于不同任务的学习难度和损失函数设计差异，容易出现一个或多个任务收敛过快或过慢的情况，导致整个训练过程的学习效率不高，甚至影响最终性能。核心痛点在于如何平衡不同任务的学习进度，使它们能够更好地相互促进，共同提升。
核心思路：CoopNet的核心思路是动态调整梯度分配，从而平衡不同网络（深度+里程计网络和光流网络）的学习进度。其关键假设是，在自监督训练中，移动对象对应的像素在深度+里程计网络和光流网络中的重建误差应该存在显著差异。深度+里程计网络由于需要排除动态物体的影响，因此在这些区域的重建误差会较高，而光流网络则不受此限制。通过建模这种差异，可以有效地识别出移动对象，并利用这些信息来动态调整梯度，使得不同网络能够更好地相互协作。
技术框架：CoopNet的整体框架包括两个主要分支：深度+里程计网络和光流网络。这两个网络分别进行自监督训练，通过光度重建损失进行约束。关键在于引入了一个混合损失函数，该损失函数基于一个概率分布模型，该模型用于建模深度+里程计网络和光流网络之间的光度重建误差差异。该模型能够识别出移动对象，并动态调整梯度分配，从而实现网络之间的公平学习进度。
关键创新：CoopNet最重要的技术创新点在于其动态梯度重平衡机制。通过建模光度重建误差的分布，CoopNet能够识别出移动对象，并据此动态调整梯度分配。这种方法与传统的静态梯度加权方法不同，它能够根据数据的实际情况自适应地调整梯度，从而更好地平衡不同任务的学习进度。此外，混合损失函数的设计也至关重要，它有效地利用了深度+里程计网络和光流网络之间的互补信息。
关键设计：CoopNet的关键设计包括以下几个方面：1. 混合损失函数：该损失函数结合了深度+里程计网络和光流网络的光度重建误差，并基于概率分布模型进行加权。具体公式细节未知，但核心是利用了重建误差的差异来识别移动对象。2. 梯度重平衡机制：根据混合损失函数计算出的权重，动态调整深度+里程计网络和光流网络的梯度。3. 网络结构：论文中使用的具体网络结构未知，但可以推断是基于现有的深度估计、里程计和光流预测网络进行修改或组合。4. 训练策略：采用自监督训练策略，利用连续帧之间的光度一致性作为监督信号。
🖼️ 关键图片
📊 实验亮点
CoopNet在KITTI和CityScapes数据集上进行了评估，实验结果表明，CoopNet在深度、里程计和光流预测方面都取得了显著的提升。与当前最先进的方法相比，CoopNet在某些指标上实现了超越，并在其他指标上达到了可比的性能。具体的性能提升幅度未知，但总体而言，CoopNet证明了其在联合自监督学习方面的有效性。
🎯 应用场景
CoopNet具有广泛的应用前景，可用于自动驾驶、机器人导航、增强现实等领域。通过提升深度、里程计和光流的预测精度，可以提高感知系统的环境理解能力，从而增强自动驾驶车辆的安全性，提高机器人导航的准确性，并为增强现实应用提供更逼真的场景渲染。该研究的未来影响在于推动运动场景下三维重建和运动估计的精度和鲁棒性。
📄 摘要（原文）
We present CoopNet, an approach that improves the cooperation of co-trained networks by dynamically adapting the apportionment of gradient, to ensure equitable learning progress. It is applied to motion-aware self-supervised prediction of depth maps, by introducing a new hybrid loss, based on a distribution model of photo-metric reconstruction errors made by, on the one hand the depth + odometry paired networks, and on the other hand the optical flow network. This model essentially assumes that the pixels from moving objects (that must be discarded for training depth and odometry), correspond to those where the two reconstructions strongly disagree. We justify this model by theoretical considerations and experimental evidences. A comparative evaluation on KITTI and CityScapes datasets shows that CoopNet improves or is comparable to the state-of-the-art in depth, odometry and optical flow predictions.