Object-Centric Representation Learning for Enhanced 3D Semantic Scene Graph Prediction

📄 arXiv: 2510.04714 📥 PDF

作者: KunHo Heo, GiHyun Kim, SuYeon Kim, MyeongAh Cho

分类: cs.CV

发布日期: 2026-02-28

💡 一句话要点

提出基于对比预训练的目标中心表示学习方法，提升3D语义场景图预测精度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D语义场景图 对比学习 目标中心表示 对象检测 关系预测 机器人 AR/VR

📋 核心要点

  1. 现有3D语义场景图预测方法过度依赖图神经网络，忽略了对象特征的表征能力，导致判别能力不足。
  2. 论文提出一种对比预训练策略，解耦对象表示学习与场景图预测，增强对象特征的判别性。
  3. 实验表明，该方法显著提升了对象分类和关系预测的准确性，并在3DSSG数据集上优于现有方法。

📝 摘要（中文）

3D语义场景图预测旨在检测3D场景中的对象及其语义关系，是机器人和AR/VR应用的关键技术。现有研究虽已关注数据集限制并探索了包括开放词汇设置在内的多种方法，但常常未能优化对象和关系特征的表征能力，过度依赖图神经网络，而判别能力不足。本文通过大量分析表明，对象特征的质量对整体场景图的准确性至关重要。为此，我们设计了一种高判别性的对象特征编码器，并采用对比预训练策略，将对象表示学习与场景图预测解耦。该设计不仅提高了对象分类的准确性，还直接改善了关系预测。值得注意的是，将我们预训练的编码器插入现有框架时，我们观察到所有评估指标的显著性能提升。此外，现有方法尚未充分利用关系信息的集成，我们有效地结合了几何和语义特征，实现了卓越的关系预测。在3DSSG数据集上的综合实验表明，我们的方法显著优于以往的最先进方法。

🔬 方法详解

问题定义：3D语义场景图预测旨在从3D场景中检测对象及其语义关系。现有方法的一个主要痛点是，它们通常依赖于图神经网络（GNN）来学习对象和关系的表示，但忽略了对象特征本身的质量。这意味着即使GNN很强大，如果输入的对象特征不够具有区分性，最终的场景图预测性能也会受到限制。

核心思路：论文的核心思路是将对象表示学习与场景图预测解耦。通过对比预训练，学习到更具判别性的对象特征，然后再将这些特征用于场景图预测。这种方法的核心在于，高质量的对象特征是实现准确场景图预测的基础。

技术框架：该方法主要包含两个阶段：1) 对象特征编码器的对比预训练阶段；2) 将预训练的编码器集成到现有的场景图预测框架中。在预训练阶段，使用对比学习损失来训练对象特征编码器，使其能够区分不同的对象实例。在场景图预测阶段，将预训练的编码器生成的对象特征输入到GNN中，进行关系预测。

关键创新：该方法最重要的创新点在于，它强调了对象特征质量的重要性，并提出了一种对比预训练策略来学习高质量的对象特征。与现有方法相比，该方法不再仅仅依赖于GNN来学习对象和关系的表示，而是首先通过对比学习来提升对象特征的判别性。

关键设计：对比预训练阶段的关键设计包括：1) 设计一个高判别性的对象特征编码器，例如使用PointNet++或类似的网络结构；2) 定义一个合适的对比学习损失函数，例如InfoNCE损失，用于最大化正样本之间的相似性，最小化负样本之间的相似性；3) 选择合适的正负样本采样策略，以确保对比学习的有效性。此外，在关系预测阶段，论文还强调了结合几何和语义特征的重要性，以提高关系预测的准确性。

📊 实验亮点

该方法在3DSSG数据集上取得了显著的性能提升，超越了以往的最先进方法。通过将预训练的编码器插入现有框架，所有评估指标均获得了大幅提升。实验结果表明，高质量的对象特征对于实现准确的3D语义场景图预测至关重要。

🎯 应用场景

该研究成果可广泛应用于机器人、增强现实（AR）和虚拟现实（VR）等领域。例如，在机器人导航中，准确的3D语义场景图可以帮助机器人理解周围环境，从而做出更明智的决策。在AR/VR应用中，该技术可以用于创建更逼真和交互性更强的虚拟场景。

📄 摘要（原文）

3D Semantic Scene Graph Prediction aims to detect objects and their semantic relationships in 3D scenes, and has emerged as a crucial technology for robotics and AR/VR applications. While previous research has addressed dataset limitations and explored various approaches including Open-Vocabulary settings, they frequently fail to optimize the representational capacity of object and relationship features, showing excessive reliance on Graph Neural Networks despite insufficient discriminative capability. In this work, we demonstrate through extensive analysis that the quality of object features plays a critical role in determining overall scene graph accuracy. To address this challenge, we design a highly discriminative object feature encoder and employ a contrastive pretraining strategy that decouples object representation learning from the scene graph prediction. This design not only enhances object classification accuracy but also yields direct improvements in relationship prediction. Notably, when plugging in our pretrained encoder into existing frameworks, we observe substantial performance improvements across all evaluation metrics. Additionally, whereas existing approaches have not fully exploited the integration of relationship information, we effectively combine both geometric and semantic features to achieve superior relationship prediction. Comprehensive experiments on the 3DSSG dataset demonstrate that our approach significantly outperforms previous state-of-the-art methods. Our code is publicly available atthis https URL.