DINeMo: Learning Neural Mesh Models with no 3D Annotations

📄 arXiv: 2503.20220v2 📥 PDF

作者: Weijie Guo, Guofeng Zhang, Wufei Ma, Alan Yuille

分类: cs.CV

发布日期: 2025-03-26 (更新: 2025-06-09)

备注: Accepted to 3rd Workshop on Compositional 3D Vision at CVPR 2025 (C3DV)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

DINeMo：无需3D标注学习神经网格模型，提升类别级姿态估计。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经网格模型 3D姿态估计 无监督学习 伪对应关系 视觉基础模型

📋 核心要点

  1. 现有神经网格模型依赖大量3D标注进行训练，限制了其应用范围和扩展能力。
  2. DINeMo利用大型视觉基础模型生成的伪对应关系，实现无需3D标注的神经网格模型训练。
  3. 实验表明，DINeMo在零样本和少样本3D姿态估计方面显著优于现有方法，并缩小了与全监督方法的差距。

📝 摘要（中文）

类别级3D/6D姿态估计是实现全面3D场景理解的关键步骤，它能为机器人和具身智能等领域带来广泛的应用。最近的研究探索了神经网格模型，并从分析-合成的角度处理一系列2D和3D任务。尽管这些方法在应对部分遮挡和领域迁移方面具有显著的鲁棒性，但它们严重依赖于3D标注进行部件对比学习，这限制了它们的应用范围，并阻碍了高效扩展。本文提出了DINeMo，一种新型神经网格模型，它通过利用从大型视觉基础模型获得的伪对应关系进行训练，无需任何3D标注。我们采用了一种双向伪对应关系生成方法，该方法利用局部外观特征和全局上下文信息来生成伪对应关系。在汽车数据集上的实验结果表明，我们的DINeMo显著优于之前的零样本和少样本3D姿态估计方法，将与全监督方法的差距缩小了67.3%。我们的DINeMo在训练过程中加入更多未标记图像时，也能有效地扩展，这证明了其优于依赖3D标注的监督学习方法的优势。

🔬 方法详解

问题定义：论文旨在解决类别级3D/6D姿态估计问题，现有方法依赖于大量的3D标注数据，这限制了模型的泛化能力和应用范围，尤其是在缺乏3D标注的场景下。现有方法难以有效利用未标注数据进行学习，导致模型性能受限。

核心思路：DINeMo的核心思路是利用大型视觉基础模型生成伪对应关系，从而实现无需3D标注的神经网格模型训练。通过分析-合成的方法，将2D图像信息与3D网格模型相结合，优化模型参数，最终实现准确的姿态估计。

技术框架：DINeMo的整体框架包含以下几个主要模块：1)图像特征提取模块：利用预训练的视觉基础模型提取图像的局部和全局特征。2)双向伪对应关系生成模块：基于提取的图像特征，生成2D图像与3D网格模型之间的伪对应关系。3)神经网格模型优化模块：利用生成的伪对应关系，优化神经网格模型的参数，使其能够准确地预测物体的3D姿态。

关键创新：DINeMo的关键创新在于利用伪对应关系进行无监督的神经网格模型训练，摆脱了对3D标注的依赖。双向伪对应关系生成方法能够更准确地建立2D图像与3D网格模型之间的对应关系，从而提高模型的训练效果。

关键设计：DINeMo采用了一种双向伪对应关系生成方法，该方法同时考虑了局部外观特征和全局上下文信息，以提高对应关系的准确性。损失函数的设计旨在最小化2D图像与3D网格模型之间的重投影误差，并鼓励模型生成具有几何一致性的网格结构。具体的网络结构和参数设置在论文中有详细描述，但未在摘要中明确提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DINeMo在汽车数据集上的实验结果表明，其性能显著优于之前的零样本和少样本3D姿态估计方法，将与全监督方法的差距缩小了67.3%。此外，DINeMo在训练过程中加入更多未标记图像时，也能有效地扩展，这证明了其优于依赖3D标注的监督学习方法的优势。这些结果表明DINeMo在无监督3D姿态估计方面具有巨大的潜力。

🎯 应用场景

DINeMo在机器人、自动驾驶、增强现实等领域具有广泛的应用前景。例如，机器人可以利用DINeMo识别和定位物体，从而实现更智能的抓取和操作。自动驾驶系统可以利用DINeMo进行场景理解和障碍物检测。增强现实应用可以利用DINeMo将虚拟物体与真实场景进行精确对齐。该研究降低了对3D标注数据的依赖，有望推动相关技术在更广泛的场景中应用。

📄 摘要（原文）

Category-level 3D/6D pose estimation is a crucial step towards comprehensive 3D scene understanding, which would enable a broad range of applications in robotics and embodied AI. Recent works explored neural mesh models that approach a range of 2D and 3D tasks from an analysis-by-synthesis perspective. Despite the largely enhanced robustness to partial occlusion and domain shifts, these methods depended heavily on 3D annotations for part-contrastive learning, which confines them to a narrow set of categories and hinders efficient scaling. In this work, we present DINeMo, a novel neural mesh model that is trained with no 3D annotations by leveraging pseudo-correspondence obtained from large visual foundation models. We adopt a bidirectional pseudo-correspondence generation method, which produce pseudo correspondence utilize both local appearance features and global context information. Experimental results on car datasets demonstrate that our DINeMo outperforms previous zero- and few-shot 3D pose estimation by a wide margin, narrowing the gap with fully-supervised methods by 67.3%. Our DINeMo also scales effectively and efficiently when incorporating more unlabeled images during training, which demonstrate the advantages over supervised learning methods that rely on 3D annotations. Our project page is available at https://analysis-by-synthesis.github.io/DINeMo/.