DC-Scene: Data-Centric Learning for 3D Scene Understanding

📄 arXiv: 2505.15232v1 📥 PDF

作者: Ting Huang, Zeyu Zhang, Ruicheng Zhang, Yang Zhao

分类: cs.CV

发布日期: 2025-05-21

🔗 代码/项目: GITHUB

💡 一句话要点

提出DC-Scene数据中心学习框架，提升3D场景理解效率与性能。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景理解 数据中心学习 CLIP 数据质量评估 课程学习 视觉-语言对齐 双指标质量过滤

📋 核心要点

  1. 现有3D场景理解方法面临计算成本高昂和高质量标注数据稀缺的双重挑战。
  2. DC-Scene通过CLIP驱动的双指标质量过滤和课程调度，聚焦高质量数据，提升训练效率。
  3. 实验表明，DC-Scene在降低训练成本的同时，在ScanRefer和Nr3D数据集上取得了SOTA性能。

📝 摘要（中文）

3D场景理解在机器人、自动驾驶和增强现实等视觉应用中起着至关重要的作用。然而，基于学习的3D场景理解面临两大挑战：一是3D场景的规模和复杂性导致计算成本高、训练速度慢；二是高质量标注的3D数据集远少于2D视觉数据集。为了解决这些问题，本文提出了DC-Scene，一个为3D场景理解量身定制的数据中心框架，强调提高数据质量和训练效率。具体来说，我们引入了CLIP驱动的双指标质量（DIQ）过滤器，结合视觉-语言对齐分数和caption-loss困惑度，以及一个课程调度器，逐步将训练池从场景-caption对的前25%扩展到75%。该策略过滤掉噪声样本，显著降低对大规模标注3D数据的依赖。在ScanRefer和Nr3D上的大量实验表明，DC-Scene实现了最先进的性能（使用前75%子集的CIDEr为86.1，而使用完整数据集为85.4），同时降低了约三分之二的训练成本，证实了高质量样本的紧凑集合可以胜过详尽的训练。

🔬 方法详解

问题定义：现有的3D场景理解方法受限于3D数据的复杂性和标注成本，导致训练效率低下，并且依赖大规模数据集。痛点在于如何利用有限的标注数据，在保证性能的同时，降低计算资源的需求。

核心思路：DC-Scene的核心思路是“数据为中心”，即通过选择高质量的训练样本，减少噪声数据的干扰，从而提高模型的学习效率和泛化能力。通过关注数据质量而非数据数量，能够在更小的计算资源下达到甚至超过现有方法的性能。

技术框架：DC-Scene框架主要包含两个核心模块：(1) CLIP驱动的双指标质量（DIQ）过滤器，用于评估和筛选场景-caption对的质量；(2) 课程调度器，用于逐步增加训练数据的规模，从高质量样本开始，逐渐引入更多样本。整体流程是先使用DIQ过滤数据，然后利用课程调度器进行训练。

关键创新：DC-Scene的关键创新在于提出了CLIP驱动的双指标质量（DIQ）过滤器。该过滤器结合了视觉-语言对齐分数和caption-loss困惑度，能够更准确地评估3D场景和对应文本描述的质量，从而筛选出更适合训练的高质量样本。与传统的基于单一指标的过滤方法相比，DIQ能够更全面地评估数据质量。

关键设计：DIQ过滤器使用CLIP模型计算视觉-语言对齐分数，衡量图像和文本描述之间的相关性。同时，计算caption-loss困惑度，评估文本描述的流畅性和准确性。课程调度器采用线性增长策略，逐步增加训练样本的数量，从高质量样本开始，避免模型过早地受到噪声数据的干扰。具体来说，训练数据从质量最高的25%开始，逐步增加到75%。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DC-Scene在ScanRefer和Nr3D数据集上取得了显著的性能提升。在ScanRefer数据集上，使用前75%的高质量数据子集，DC-Scene达到了86.1的CIDEr评分，超过了使用完整数据集的85.4。同时，训练成本降低了约三分之二，证明了高质量数据子集可以胜过大规模数据集的训练效果。

🎯 应用场景

DC-Scene的研究成果可广泛应用于机器人导航、自动驾驶、增强现实等领域。通过降低对大规模标注数据的依赖，可以加速3D场景理解模型的开发和部署，尤其是在数据获取成本较高的场景下。该方法有望推动相关技术在资源受限环境中的应用，并促进更智能、更高效的3D视觉系统的发展。

📄 摘要（原文）

3D scene understanding plays a fundamental role in vision applications such as robotics, autonomous driving, and augmented reality. However, advancing learning-based 3D scene understanding remains challenging due to two key limitations: (1) the large scale and complexity of 3D scenes lead to higher computational costs and slower training compared to 2D counterparts; and (2) high-quality annotated 3D datasets are significantly scarcer than those available for 2D vision. These challenges underscore the need for more efficient learning paradigms. In this work, we propose DC-Scene, a data-centric framework tailored for 3D scene understanding, which emphasizes enhancing data quality and training efficiency. Specifically, we introduce a CLIP-driven dual-indicator quality (DIQ) filter, combining vision-language alignment scores with caption-loss perplexity, along with a curriculum scheduler that progressively expands the training pool from the top 25% to 75% of scene-caption pairs. This strategy filters out noisy samples and significantly reduces dependence on large-scale labeled 3D data. Extensive experiments on ScanRefer and Nr3D demonstrate that DC-Scene achieves state-of-the-art performance (86.1 CIDEr with the top-75% subset vs. 85.4 with the full dataset) while reducing training cost by approximately two-thirds, confirming that a compact set of high-quality samples can outperform exhaustive training. Code will be available at https://github.com/AIGeeksGroup/DC-Scene.