Revisiting Efficient Semantic Segmentation: Learning Offsets for Better Spatial and Class Feature Alignment

📄 arXiv: 2508.08811v1 📥 PDF

作者: Shi-Chen Zhang, Yunheng Li, Yu-Huan Wu, Qibin Hou, Ming-Ming Cheng

分类: cs.CV

发布日期: 2025-08-12

备注: Accepted at ICCV 2025. Project page: https://github.com/HVision-NKU/OffSeg

💡 一句话要点

提出偏移学习方法以解决语义分割中的特征对齐问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 语义分割 偏移学习 特征对齐 轻量化网络 计算机视觉

📋 核心要点

  1. 现有语义分割方法在资源受限设备上应用时，面临类表示与图像特征错位的问题，导致性能下降。
  2. 本文提出耦合双分支偏移学习范式，通过学习特征和类别偏移，动态优化类表示与图像特征的对齐。
  3. 在ADE20K等数据集上，OffSeg网络在多个基线模型上实现了2.7%至1.9%的mIoU提升，仅增加0.1-0.2M参数。

📝 摘要（中文）

语义分割是视觉系统中实现像素级场景理解的基础，但在资源受限设备上部署时需要高效的架构。现有方法通过轻量化设计实现实时推理，但存在类表示与图像特征之间的错位问题。为了解决这一问题，本文提出了一种耦合双分支偏移学习范式，显式学习特征和类别偏移，以动态优化类表示和空间图像特征。基于该范式，构建了高效的语义分割网络OffSeg。实验结果表明，该方法在多个数据集上均取得了显著提升，且仅需少量额外参数。

🔬 方法详解

问题定义：本文旨在解决现有语义分割方法中类表示与图像特征之间的错位问题。现有的逐像素分类范式假设同一类别在不同图像中的像素特征不应变化，这在高效场景中是一个挑战。

核心思路：提出耦合双分支偏移学习范式，通过显式学习特征和类别的偏移，动态调整类表示和空间图像特征，从而提高对齐效果。这样的设计能够有效缓解现有方法的局限性。

技术框架：整体架构包括两个主要分支：一个用于学习类别偏移，另一个用于学习特征偏移。通过这两个分支的耦合，网络能够在推理过程中动态调整特征表示。

关键创新：最重要的创新点在于偏移学习范式的引入，使得现有的轻量化语义分割方法无需额外的架构修改即可实现性能提升。这一方法在特征对齐方面具有显著优势。

关键设计：在网络结构中，采用了轻量化设计以保持高效性，同时在损失函数中引入了偏移学习的相关损失，以确保特征和类别的对齐效果。

📊 实验亮点

实验结果显示，OffSeg网络在ADE20K数据集上对SegFormer-B0、SegNeXt-T和Mask2Former-Tiny的mIoU分别提升了2.7%、1.9%和2.6%，且仅增加了0.1-0.2M的参数，验证了偏移学习范式的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和增强现实等场景，能够在资源受限的设备上实现高效的语义分割，提升系统的实时性和准确性。未来，该方法可能推动更多轻量化视觉任务的研究与应用。

📄 摘要（原文）

Semantic segmentation is fundamental to vision systems requiring pixel-level scene understanding, yet deploying it on resource-constrained devices demands efficient architectures. Although existing methods achieve real-time inference through lightweight designs, we reveal their inherent limitation: misalignment between class representations and image features caused by a per-pixel classification paradigm. With experimental analysis, we find that this paradigm results in a highly challenging assumption for efficient scenarios: Image pixel features should not vary for the same category in different images. To address this dilemma, we propose a coupled dual-branch offset learning paradigm that explicitly learns feature and class offsets to dynamically refine both class representations and spatial image features. Based on the proposed paradigm, we construct an efficient semantic segmentation network, OffSeg. Notably, the offset learning paradigm can be adopted to existing methods with no additional architectural changes. Extensive experiments on four datasets, including ADE20K, Cityscapes, COCO-Stuff-164K, and Pascal Context, demonstrate consistent improvements with negligible parameters. For instance, on the ADE20K dataset, our proposed offset learning paradigm improves SegFormer-B0, SegNeXt-T, and Mask2Former-Tiny by 2.7%, 1.9%, and 2.6% mIoU, respectively, with only 0.1-0.2M additional parameters required.