RGBD20K: A Large-Scale Benchmark for RGB-D Semantic Segmentation

📄 arXiv: 2609.29028v1 📥 PDF

作者: Shaohua Dong, Zexuan Meng, Haiyan Sun, Bing Fan, Cuicui Zhang, Dylan Joseph, Kewei Sha, Yunhe Feng, Heng Fan

分类: cs.CV

发布日期: 2026-09-24

🔗 代码/项目: GITHUB

💡 一句话要点

提出RGBD20K数据集以推动RGB-D语义分割研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: RGB-D语义分割 数据集 深度学习 多模态融合 图像处理 计算机视觉 智能家居 自动驾驶

📋 核心要点

  1. 现有RGB-D语义分割基准在类别多样性和数据规模上存在不足，限制了模型的泛化能力。
  2. RGBD20K数据集通过提供160个细粒度类别和20,000对RGB-D图像，旨在解决现有数据集的局限性。
  3. 实验结果表明，RGBD20K及其提出的SPF方法在各项基准测试中均取得了最先进的性能，显著提升了模型的准确性。

📝 摘要（中文）

本文提出了RGBD20K，一个新颖的数据集，旨在促进更强大和通用的RGB-D语义分割的发展。RGBD20K具有多个吸引人的特性：(1) 扩展的语义空间，涵盖160个细粒度类别，远超现有RGB-D基准；(2) 更大的规模，提供20,000对RGB-D图像，成为强大深度模型的训练资源；(3) 高保真注释，通过严格的重新评估和修正，解决长期存在的注释噪声。此外，提出了一种新颖的分数净化融合（SPF）方法，在所有评估基准中实现了最先进的性能，展示了利用高质量多模态信息进行RGB-D语义分割的有效性。

🔬 方法详解

问题定义：本文旨在解决现有RGB-D语义分割数据集在类别多样性和数据规模上的不足，尤其是注释质量不高的问题。现有方法在处理复杂场景时表现不佳，限制了模型的泛化能力。

核心思路：RGBD20K数据集通过扩展语义类别和增加数据量，提供了更丰富的训练资源。同时，采用高保真注释和新的融合方法，提升了模型的性能。

技术框架：RGBD20K的数据收集和注释过程包括图像采集、标签修正和数据清洗。数据集的构建分为多个阶段，确保了数据的多样性和准确性。

关键创新：最重要的创新点在于提出了分数净化融合（SPF）方法，该方法有效利用多模态信息，显著提高了语义分割的准确性，与现有方法相比，具有更好的性能表现。

关键设计：在数据集构建中，采用了严格的注释标准和质量控制流程，确保了数据的高保真性。同时，SPF方法的设计考虑了多模态信息的融合，优化了模型的训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，RGBD20K及其SPF方法在所有评估基准上均实现了最先进的性能，相较于现有基准，模型的准确性提升了显著的幅度，具体性能数据未详述，但展示了该方法在多模态信息利用上的有效性。

🎯 应用场景

RGBD20K数据集的潜在应用场景包括智能家居、自动驾驶、机器人导航等领域。通过提供丰富的训练数据，该数据集能够帮助研究人员开发更为精准的语义分割模型，推动相关技术的进步和应用落地。未来，该数据集可能成为RGB-D视觉任务的标准基准，促进学术界和工业界的合作与创新。

📄 摘要（原文）

In this paper, we propose RGBD20K, a novel dataset for facilitating the development of more robust and general RGB-D semantic segmentation by encompassing abundant categories and high-quality annotations. RGBD20K possesses several attractive properties: (1) Expanded Semantic Space. In particular, it covers 160 fine-grained categories, largely surpassing the category diversity of existing popular RGB-D benchmarks (e.g., NYUv2 with 40 classes and SUN RGB-D with 37 classes). With such enriched semantic coverage, we expect to promote the learning of more generalizable segmentation models. (2) Larger Scale. Compared with current benchmarks, RGBD20K offers 20,000 RGB-D image pairs, providing a substantially larger training resource that benefits the development of more powerful deep models. (3) High-Fidelity Annotation. We perform rigorous re-evaluation and correction of existing labels to resolve long-standing annotation noise, resulting in a clean and reliable ground-truth foundation. Furthermore, we propose a novel score-purified fusion (SPF) method, which achieves state-of-the-art performance across all evaluated benchmarks, demonstrating the effectiveness of our approach in leveraging high-quality multimodal information for RGB-D semantic segmentation. The dataset is here: https://github.com/ShaohuaDong2021/RGBD20K/.