Revisiting Triplet Contrastive Learning for 3D Shape Understanding
作者: Chaoyang Zhu, Zhe Liao, Jiayi Zhang, Jie Li, Jiayi Ji, Liujuan Cao
分类: cs.AI
发布日期: 2026-10-14
💡 一句话要点
提出超曲率对比学习以解决3D形状理解中的多模态对齐问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 3D形状理解 多模态对齐 超曲率学习 对比学习 语言嵌入
📋 核心要点
- 现有的多模态3D对齐方法依赖于渲染图像的监督信号，但由于领域差距和渲染伪影，这种信号往往不可靠。
- 本文提出了一种新的方法，通过将3D表示嵌入超曲率空间，利用语言信息学习可迁移的3D表示，解决了现有方法的局限性。
- 在多个基准测试中，本文的方法在3D形状分类和文本到3D检索任务中分别提高了4.6%和5.5%的性能，显示出显著的效果提升。
📝 摘要（中文）
在多模态3D预训练中，3D形状、其2D图像对应物和语言描述的对齐取得了显著进展。然而，渲染图像的监督信号不可靠，合成视图中编码的语义因领域差距、自遮挡和渲染伪影而失真。为此，本文提出仅从语言中学习可迁移的3D表示。我们观察到，现实世界中的3D形状呈树状结构，从一般概念到具有特定属性的细粒度实例，而语言通常表示一般概念并包含这些不同的3D实例。因此，我们提出将3D表示嵌入超曲率空间，以无失真地建模树状数据。为捕捉语言与3D形状之间的不对称层次关系，我们进一步施加部分序关系，表明语言蕴含3D形状。我们的超曲率对比学习方法（HyperCL）联合优化基于超曲率测地线的对比目标和蕴含损失，以学习具有区分性的跨模态表示，同时明确保留这种层次结构。我们还引入了一个经过严格验证的基准，用于全面评估跨模态3D对齐。在两个广泛使用的基准和我们的基准上，我们在3D形状分类上提高了最高4.6%的绝对百分比，在跨模态文本到3D检索上提高了5.5%。代码和评估基准将公开发布。
🔬 方法详解
问题定义：本文旨在解决多模态3D形状理解中的对齐问题，现有方法依赖于渲染图像的监督信号，但由于领域差距和渲染伪影，这种信号不可靠，导致语义失真。
核心思路：通过将3D表示嵌入超曲率空间，利用语言信息学习可迁移的3D表示，能够更好地捕捉3D形状的层次结构，同时避免失真。
技术框架：整体架构包括三个主要模块：1) 语言嵌入模块，将语言描述转换为向量表示；2) 超曲率嵌入模块，将3D形状嵌入超曲率空间；3) 对比学习模块，优化超曲率测地线的对比目标和蕴含损失。
关键创新：最重要的技术创新在于将3D表示嵌入超曲率空间，并引入部分序关系来捕捉语言与3D形状之间的不对称层次关系，这与传统方法的对称处理方式有本质区别。
关键设计：在损失函数设计上，结合了超曲率测地线的对比损失和蕴含损失，确保了学习到的表示既具有区分性又保留了层次结构。网络结构采用了适应超曲率空间的特定设计，以提高模型的表达能力。
🖼️ 关键图片
📊 实验亮点
在实验中，提出的方法在3D形状分类任务中相较于基线提高了最高4.6%的绝对百分比，在跨模态文本到3D检索任务中提高了5.5%。这些结果表明，HyperCL在跨模态对齐方面具有显著的优势，验证了其有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、机器人技术和增强现实等，能够有效提升3D形状理解和生成的准确性，推动多模态学习的发展。未来，随着技术的进步，该方法有望在自动化设计、虚拟现实和智能制造等领域发挥重要作用。
📄 摘要（原文）
In multi-modal 3D pre-training, aligning 3D shapes, their 2D image counterparts, and language descriptions has made tremendous progress. However, we find that supervision from rendered images is unreliable, the semantics encoded in synthetic views are distorted due to domain gap, self-occlusion, and rendering artifacts. Instead, we learn transferable 3D representations from language only. We observe that, in real world, 3D shapes are organized in a tree-like structure, ranging from general concepts to fine-grained instances with specific attributes, while language typically denotes generic concepts and subsumes these various 3D instantiations. Hence, we propose to embed 3D representations in hyperbolic space, whose geometry is well-suited for modeling tree-like data without distortion. To capture the asymmetric hierarchy between language and 3D shapes, we further impose a partial-order relation that language entails 3D shapes. Our method, Hyperbolic Contrastive Learning (HyperCL), jointly optimizes a hyperbolic geodesic-based contrastive objective and an entailment loss to learn discriminative cross-modal representations while explicitly preserving this hierarchy. We also introduce a rigorously verified benchmark for comprehensively evaluating cross-modal 3D alignment. Across two widely used benchmarks and ours, we improve the performance up to 4.6% absolute percentage on 3D shape classification and 5.5% on cross-modal text-to-3D retrieval under the same parameter budget. The code and evaluation benchmark will be made publicly available.