Real-Time 3D Object Detection with Inference-Aligned Learning

📄 arXiv: 2511.16140v1 📥 PDF

作者: Chenyu Zhao, Xianwei Zheng, Zimin Xia, Linwei Yue, Nan Xue

分类: cs.CV

发布日期: 2025-11-20

备注: Accepted by AAAI 2026

💡 一句话要点

提出SR3D框架，通过推理对齐学习实现室内点云实时3D目标检测

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 3D目标检测 点云 实时检测 推理对齐学习 最优传输 自蒸馏 空间优先级 排序感知

📋 核心要点

  1. 现有3D目标检测方法在训练时缺乏空间可靠性和排序感知，导致训练与推理存在差距，影响模型性能。
  2. SR3D框架通过空间优先最优传输分配和排序感知的自适应自蒸馏，弥合训练与推理的差距，提升检测精度。
  3. 在ScanNet V2和SUN RGB-D数据集上的实验表明，SR3D在保持实时速度的同时，显著优于现有方法。

📝 摘要（中文）

本文提出了一种新颖的、空间优先和排序感知的3D目标检测（SR3D）框架，用于室内点云，旨在弥合检测器训练方式与评估方式之间的差距。这种差距源于训练过程中缺乏空间可靠性和排序感知，这与推理时使用的基于排序的预测选择相冲突。这种训练-推理差距阻碍了模型学习与推理时行为对齐的表征的能力。为了解决这个限制，SR3D由两个针对训练期间点云空间性质量身定制的组件组成：一种新颖的空间优先最优传输分配，动态地强调定位良好和空间可靠的样本；以及一种排序感知的自适应自蒸馏方案，通过自蒸馏范式自适应地注入排序感知。在ScanNet V2和SUN RGB-D上的大量实验表明，SR3D有效地弥合了训练-推理差距，并在保持实时速度的同时，显著优于现有方法。

🔬 方法详解

问题定义：现有基于点云的3D目标检测方法，在训练阶段往往忽略了点云数据的空间特性，以及预测结果的排序信息。这导致训练目标与实际推理过程不一致，模型学习到的特征表示无法很好地适应推理阶段的需求，从而影响检测精度。现有方法难以同时保证精度和速度，尤其是在室内场景中。

核心思路：SR3D的核心思路是通过在训练过程中引入空间优先级和排序感知，使模型学习到的特征表示能够更好地与推理过程对齐。具体来说，就是让模型在训练时更加关注空间位置准确且可靠的样本，并学习区分不同预测结果的排序，从而提高模型在推理时的性能。

技术框架：SR3D框架主要包含两个核心模块：空间优先最优传输分配（Spatial-prioritized Optimal Transport Assignment）和排序感知的自适应自蒸馏（Rank-aware Adaptive Self-Distillation）。前者用于动态地强调空间位置良好且可靠的样本，后者用于自适应地注入排序感知。整体流程是，首先利用空间优先最优传输分配选择高质量的样本，然后利用排序感知的自适应自蒸馏进行训练，最终得到一个高性能的3D目标检测模型。

关键创新：SR3D的关键创新在于其推理对齐学习的思想，以及为此设计的两个核心模块。空间优先最优传输分配能够根据样本的空间可靠性动态调整权重，使得模型更加关注高质量的样本。排序感知的自适应自蒸馏则能够让模型学习区分不同预测结果的排序，从而提高模型在推理时的性能。与现有方法相比，SR3D更加注重训练与推理的一致性，从而能够更好地利用点云数据的空间信息和排序信息。

关键设计：空间优先最优传输分配中，使用了最优传输算法来分配正负样本，并根据样本的空间位置和可靠性动态调整传输代价。排序感知的自适应自蒸馏中，使用了自蒸馏框架，并根据预测结果的排序自适应地调整蒸馏损失的权重。具体的损失函数设计和网络结构细节未在摘要中详细说明，需要参考论文全文。

📊 实验亮点

SR3D在ScanNet V2和SUN RGB-D数据集上进行了大量实验，结果表明SR3D在保持实时速度的同时，显著优于现有方法。具体的性能数据和提升幅度未在摘要中给出，需要参考论文全文。但摘要强调了SR3D有效地弥合了训练-推理差距，并在精度上取得了显著提升。

🎯 应用场景

SR3D框架可应用于增强现实、机器人和导航等领域，实现对室内场景的实时3D目标检测。该技术能够提升机器人对环境的感知能力，使其更好地理解和交互。在自动驾驶领域，该技术也可用于提升车辆对周围环境的感知精度和速度，从而提高驾驶安全性。未来，该技术有望在智能家居、智慧城市等领域发挥重要作用。

📄 摘要（原文）

Real-time 3D object detection from point clouds is essential for dynamic scene understanding in applications such as augmented reality, robotics and navigation. We introduce a novel Spatial-prioritized and Rank-aware 3D object detection (SR3D) framework for indoor point clouds, to bridge the gap between how detectors are trained and how they are evaluated. This gap stems from the lack of spatial reliability and ranking awareness during training, which conflicts with the ranking-based prediction selection used as inference. Such a training-inference gap hampers the model's ability to learn representations aligned with inference-time behavior. To address the limitation, SR3D consists of two components tailored to the spatial nature of point clouds during training: a novel spatial-prioritized optimal transport assignment that dynamically emphasizes well-located and spatially reliable samples, and a rank-aware adaptive self-distillation scheme that adaptively injects ranking perception via a self-distillation paradigm. Extensive experiments on ScanNet V2 and SUN RGB-D show that SR3D effectively bridges the training-inference gap and significantly outperforms prior methods in accuracy while maintaining real-time speed.