Is Pre-training Applicable to the Decoder for Dense Prediction?

📄 arXiv: 2503.07637v2 📥 PDF

作者: Chao Ning, Wanshui Gan, Weihao Xuan, Naoto Yokoya

分类: cs.LG

发布日期: 2025-03-05 (更新: 2025-03-15)

💡 一句话要点

提出$ imes$Net，实现预训练解码器在密集预测任务中的应用，显著提升性能。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 密集预测 预训练解码器 单目深度估计 语义分割 特征对齐

📋 核心要点

  1. 现有密集预测任务中，解码器通常从头训练，无法有效利用预训练模型的知识。
  2. $ imes$Net通过创新设计，使预训练解码器能够直接应用于密集预测任务，提升性能。
  3. 实验表明，$ imes$Net在单目深度估计和语义分割任务中超越现有方法，达到SOTA。

📝 摘要（中文）

本文提出了$ imes$Net，旨在实现“预训练编码器$ imes$预训练解码器”的协同工作，从而提升密集预测任务的性能。由于结构差异和输入数据变化，以往只有编码器能受益于图像分类和自监督学习等视觉基准的预训练表示，而解码器通常从头开始训练。$ imes$Net通过三个创新设计，使得预训练模型能够直接应用于解码器，将预训练表示集成到解码过程中。$ imes$Net仅通过耦合预训练的编码器和解码器，无需依赖特定于解码的结构或任务特定的算法，便展现出巨大的潜力。实验表明，$ imes$Net在单目深度估计和语义分割等任务中优于现有先进方法，尤其在单目深度估计方面取得了最先进的性能。

🔬 方法详解

问题定义：现有密集预测模型通常只利用预训练的编码器提取特征，而解码器由于结构和输入数据的差异，无法直接使用预训练模型，导致性能瓶颈。解码器通常需要从头开始训练，耗费大量计算资源，且效果往往不如预训练编码器。

核心思路：本文的核心思路是设计一种能够有效利用预训练解码器的框架，使得解码器能够直接从预训练模型中学习知识，从而提升密集预测任务的性能。通过特定的结构设计，弥合编码器和解码器之间的差异，使得预训练的知识能够顺利迁移。

技术框架：$ imes$Net的整体框架由预训练编码器、预训练解码器以及连接二者的桥梁组成。编码器负责提取图像特征，解码器负责生成像素级别的预测结果。关键在于设计合适的桥梁，使得编码器提取的特征能够被解码器有效利用，同时保持预训练解码器的知识不被破坏。

关键创新：$ imes$Net最重要的创新在于其能够直接利用预训练的解码器，而无需对解码器进行大幅修改或从头开始训练。这种方法充分利用了预训练模型在大量数据上学习到的知识，从而提升了密集预测任务的性能。与现有方法相比，$ imes$Net更加简洁高效，易于实现。

关键设计：具体的技术细节包括：(1)设计特定的特征对齐模块，使得编码器提取的特征能够与解码器的输入相匹配；(2)采用合适的损失函数，例如像素级别的交叉熵损失或均方误差损失，来指导模型的训练；(3)对预训练解码器的参数进行微调，以适应特定的密集预测任务。此外，$ imes$Net的具体网络结构可以根据不同的任务进行调整，例如采用U-Net或DeepLab等常见的网络结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

$ imes$Net在单目深度估计和语义分割任务上取得了显著的性能提升。特别是在单目深度估计任务中，$ imes$Net超越了现有的state-of-the-art方法，取得了最佳的性能。实验结果表明，通过有效利用预训练解码器，可以显著提升密集预测任务的性能，验证了$ imes$Net的有效性和优越性。

🎯 应用场景

该研究成果可广泛应用于计算机视觉领域的各种密集预测任务，例如自动驾驶中的场景理解、医学图像分析中的病灶分割、遥感图像处理中的地物分类等。通过利用预训练解码器，可以显著提升这些任务的性能和效率，降低对大量标注数据的依赖，具有重要的实际应用价值和广阔的未来发展前景。

📄 摘要（原文）

Pre-trained encoders are widely employed in dense prediction tasks for their capability to effectively extract visual features from images. The decoder subsequently processes these features to generate pixel-level predictions. However, due to structural differences and variations in input data, only encoders benefit from pre-learned representations from vision benchmarks such as image classification and self-supervised learning, while decoders are typically trained from scratch. In this paper, we introduce $\times$Net, which facilitates a "pre-trained encoder $\times$ pre-trained decoder" collaboration through three innovative designs. $\times$Net enables the direct utilization of pre-trained models within the decoder, integrating pre-learned representations into the decoding process to enhance performance in dense prediction tasks. By simply coupling the pre-trained encoder and pre-trained decoder, $\times$Net distinguishes itself as a highly promising approach. Remarkably, it achieves this without relying on decoding-specific structures or task-specific algorithms. Despite its streamlined design, $\times$Net outperforms advanced methods in tasks such as monocular depth estimation and semantic segmentation, achieving state-of-the-art performance particularly in monocular depth estimation. and semantic segmentation, achieving state-of-the-art results, especially in monocular depth estimation. embedding algorithms. Despite its streamlined design, $\times$Net outperforms advanced methods in tasks such as monocular depth estimation and semantic segmentation, achieving state-of-the-art performance particularly in monocular depth estimation.