DIFTA-3D: Depth-Consistent Instance-Level Feature Transfer and Adaptation of DINOv3 for 3D Detection

作者: Linman Wang, ZiFei Zhang, Chunran Zheng, Xiwang Dong, Jiarong Lin

分类: cs.CV

发布日期: 2026-09-22

备注: 9 pages, 6 figures, conference paper

💡 一句话要点

提出DIFTA-3D以解决RGB-D 3D实例检测中的特征依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: RGB-D 3D检测 特征转移 DINOv3 实例级融合 深度一致性 语义蒸馏 机器人导航

📋 核心要点

现有的RGB-D 3D实例检测方法如IIFNet3D存在特征提取与2D检测器耦合的问题，导致对任务特定标签的依赖。
本文提出了一种深度一致的特征管道，通过适配DINOv3，消除了对任务特定依赖，同时保持几何和双向实例融合路径。
在ScanNetV2数据集上，DINOv3控制组和Conservative VAID设置的mAP分数分别达到了76.15/60.93和76.59/62.16，显示出显著的性能提升。

📝 摘要（中文）

RGB-D 3D实例检测依赖于视觉语义，但现有的IIFNet3D方法将特征提取与单独训练的2D检测器及其图像域标签耦合。本文通过将DINOv3适配到IIFNet3D的实例级融合管道，提出了一种深度一致的特征管道，解决了任务特定依赖的问题。我们在ScanNetV2上进行了广泛评估，DINOv3控制组在IoU阈值为0.25和0.50时分别达到了76.15和60.93的mAP分数，Conservative VAID设置则分别提升至76.59和62.16，显示了所提转移方法的有效性。

🔬 方法详解

问题定义：本文旨在解决RGB-D 3D实例检测中，特征提取与任务特定标签耦合的问题，现有方法如IIFNet3D在此方面存在局限性。

核心思路：我们通过将DINOv3适配到IIFNet3D的实例级融合管道，提出了一种深度一致的特征管道，旨在消除对任务特定依赖，同时减少遮挡噪声和特征不匹配。

技术框架：整体架构包括将场景点投影到校准的RGB-D帧中，进行度量深度残差检查，接受的DINOv3特征被平均到离线点缓存中，并在提议对齐的RoI网格中聚合缓存特征。

关键创新：最重要的创新在于深度一致的特征管道设计，保持了几何和双向实例融合路径，同时引入了Conservative VAID作为支持加权的语义蒸馏方法，仅应用于正RoI。

关键设计：在参数设置上，采用了低强度的支持加权策略，损失函数设计上注重于正RoI的语义蒸馏，网络结构上则保持了DINOv3的特征提取能力与IIFNet3D的融合机制。

🖼️ 关键图片

fig_0

fig_1

fig_2

📊 实验亮点

在ScanNetV2数据集上，DINOv3控制组的mAP分数为76.15和60.93，而Conservative VAID设置的mAP分数则提升至76.59和62.16，分别实现了0.44和1.23的显著提升，验证了所提方法的有效性。

🎯 应用场景

该研究在RGB-D 3D实例检测领域具有重要的应用潜力，能够提升自动驾驶、机器人导航和增强现实等技术的性能。通过消除对特定任务标签的依赖，未来可以更广泛地应用于多种场景下的3D检测任务，推动相关技术的发展。

📄 摘要（原文）

RGB-D 3D instance detectors benefit from visual semantics, but the task-specific Faster R-CNN/ResNet branch used by IIFNet3D couples feature extraction to a separately trained 2D detector and its image-domain labels. Replacing that branch with a frozen vision foundation model removes this task-specific dependency, but may introduce occlusion noise and a mismatch between patch features and geometry-aware detection features. In this work, we investigate this replacement through an adaptation of DINOv3 to the instance-level fusion pipeline of IIFNet3D. At the core of our approach is a depth-consistent feature pipeline that projects scene points into calibrated RGB-D frames, applies a metric depth-residual check, averages the accepted DINOv3 features into an offline point cache, and aggregates the cached features inside proposal-aligned RoI grids. The geometric and bidirectional instance-fusion paths are preserved, while Conservative VAID is evaluated as a low-strength, support-weighted semantic distillation recipe applied only to positive RoIs. We conduct extensive evaluations on ScanNetV2 to assess the proposed transfer recipes. On ScanNetV2, our DINOv3 control achieves mAP scores of 76.15 and 60.93 at IoU thresholds of 0.25 and 0.50, respectively. The Conservative VAID setting achieves mAP scores of 76.59 and 62.16, corresponding to numerical gains of 0.44 and 1.23 points over the control, respectively, in this checkpoint-level recipe comparison. The reported IIFNet3D result of 75.7/63.8 is used only as an external reference because the visual branch and processing protocol differ. Accordingly, we interpret these results as evidence for a controlled transfer recipe rather than as a causal estimate of the individual contributions of VAID or depth filtering.