Hyperbolic Distillation: Geometry-Guided Cross-Modal Transfer for Robust 3D Object Detection

📄 arXiv: 2605.09899v1 📥 PDF

作者: Kanglin Ning, Wenrui Li, Houde Quan, Qifan Li, Xingtao Wang, Xiaopeng Fan

分类: cs.CV, cs.AI

发布日期: 2026-05-11

备注: Current version has been subbmitted to IEEE Transactions on Multimedia. Now, this manuscript's status is Under Review

💡 一句话要点

提出HGC-Det框架，利用双曲几何约束实现多模态3D目标检测的跨模态蒸馏

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态3D目标检测 知识蒸馏 双曲几何 跨模态特征迁移 点云处理 语义引导

📋 核心要点

  1. 现有方法在处理模态异构性、空间错位及多模态表示危机时效率低下，难以实现高效的跨模态特征融合与知识迁移。
  2. 提出HGC-Det框架，通过双曲几何约束和语义引导机制，有效缓解了高维图像与低维点云特征融合过程中的语义损失与空间退化。
  3. 在多个室内外主流数据集上验证，该方法在保持较低计算成本的同时，显著提升了3D目标检测的精度，实现了性能与效率的平衡。

📝 摘要（中文）

跨模态知识蒸馏已成为整合点云与图像特征以提升3D感知任务性能的有效策略。然而，模态间的异构性、空间错位以及多模态表示危机限制了现有蒸馏方法的效率。为解决这些局限，本文提出了用于多模态3D目标检测的双曲约束跨模态蒸馏方法（HGC-Det）。该框架包含图像分支和点云分支，核心组件包括：2D语义引导体素优化（SGVO）、双曲几何约束跨模态特征迁移（HFT）以及基于特征聚合的几何优化（FAGO）。SGVO利用图像语义线索自适应优化3D分支的空间表示；HFT利用双曲空间的几何特性，缓解高维图像特征与低维点云特征融合过程中的语义损失；FAGO则补偿了SGVO可能引入的空间特征退化。在室内（SUN RGB-D, ARKitScenes）和室外（KITTI, nuScenes）数据集上的实验表明，该方法在检测精度与计算成本之间取得了更优的平衡。

🔬 方法详解

问题定义：论文旨在解决多模态3D目标检测中，点云与图像模态间存在的异构性、空间对齐偏差以及特征表示不一致问题，这些问题导致了跨模态蒸馏过程中严重的语义信息丢失。

核心思路：引入双曲几何空间来建模多模态特征，利用双曲空间的负曲率特性更好地捕捉层级结构和复杂语义，从而在特征迁移过程中保持语义完整性，并结合语义引导与几何优化模块提升空间表示能力。

技术框架：HGC-Det包含双分支结构：图像分支提取语义特征，点云分支负责3D检测。点云分支集成三个核心模块：SGVO模块利用2D语义引导体素优化；HFT模块在双曲空间内进行特征迁移；FAGO模块负责对空间特征进行几何补偿与聚合。

关键创新：首次将双曲几何引入多模态3D检测的蒸馏过程，通过双曲空间约束解决了高维图像特征与低维点云特征在欧氏空间融合时的语义失真问题，并提出了针对性的空间几何优化策略。

关键设计：HFT模块通过双曲映射函数将特征投影至双曲空间进行对齐；SGVO模块通过注意力机制将2D语义特征注入3D体素；FAGO模块通过多尺度特征聚合补偿空间信息，确保检测头输入特征的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SUN RGB-D、ARKitScenes、KITTI及nuScenes等多个基准数据集上进行了广泛评估。实验结果表明，HGC-Det在保持计算效率的同时，显著优于现有的跨模态蒸馏基线方法，在复杂场景下的检测精度提升明显，证明了双曲几何约束在多模态特征对齐中的有效性。

🎯 应用场景

该研究主要应用于自动驾驶感知系统及室内机器人导航领域。通过提升多模态融合的鲁棒性，该方法能显著增强系统在复杂光照、遮挡及稀疏点云环境下的目标检测能力，具有极高的工业应用价值和部署潜力。

📄 摘要（原文）

Cross-modal knowledge distillation has emerged as an effective strategy for integrating point cloud and image features in 3D perception tasks. However, the modality heterogeneity, spatial misalignment, and the representation crisis of multiple modalities often limit the efficient of these cross-modal distillation methods. To address these limitations in existing approaches, we propose a hyperbolic constrained cross-modal distillation method for multimodal 3D object detection (HGC-Det). The proposed HGC-Det framework includes an image branch and a point cloud branch to extract semantic features from two different modalities. The point cloud branch comprises three core components: a 2D semantic-guided voxel optimization component (SGVO), a hyperbolic geometry constrained cross-modal feature transfer component (HFT), and a feature aggregation-based geometry optimization component (FAGO). Specifically, the SGVO component adaptively refines the spatial representation of the 3D branch by leveraging semantic cues from the image branch, thereby mitigating the issue of inadequate representation fusion. The HFT component exploits the intrinsic geometric properties of hyperbolic space to alleviate semantic loss during the fusion of high-dimensional image features and low-dimensional point cloud features. Finally, the FAGO compensates for potential spatial feature degradation introduced by the 2D semantic-guided voxel optimization component. Extensive experiments on indoor datasets (SUN RGB-D, ARKitScenes) and outdoor datasets (KITTI, nuScenes) demonstrate that our method achieves a better trade-off between detection accuracy and computational cost.