LEGAU: Learning Semantic Gaussian Priors for Scalable Category-level Pose Estimation

📄 arXiv: 2609.35046v1 📥 PDF

作者: Hongli Xu, Zhaowei Lu, Junwen Huang, Jiaqi Hu, Peter KT Yu, Benjamin Busam, Federico Tombari, Slobodan ilic

分类: cs.CV

发布日期: 2026-09-28

💡 一句话要点

提出LEGAU框架以解决类别级6D姿态估计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 类别级姿态估计 高斯先验 多模态融合 NOCS对应关系 变换器架构

📋 核心要点

  1. 现有的类别级6D姿态估计方法在处理部分可见几何体时存在约束不足的问题，导致姿态推理不稳定。
  2. LEGAU框架通过将高斯场作为类别条件的结构先验，联合预测NOCS对应关系、姿态和大小，提升了姿态估计的准确性。
  3. 在合成和真实世界基准测试中，LEGAU在单模型多类别设置下表现优异，SOPE指标提升达22%，显示出其强大的迁移能力。

📝 摘要（中文）

类别级6D姿态估计从单个RGB-D观察中固有地存在约束不足的问题，因为部分可见几何体必须与规范对象结构一起解释，才能确定稳定的姿态。本文提出了LEGAU，一个统一框架，联合预测NOCS对应关系、对象姿态和大小，以及规范的语义高斯场。LEGAU将高斯场视为类别条件的结构先验，参与多模态特征融合并为局部姿态推理提供全局指导。基于类别文本嵌入，LEGAU通过基于变换器的融合模块处理RGB-D观察，整合视觉、几何和类别级线索，解码NOCS图、姿态和大小信息以及基于高斯的对象表示。大量实验表明，该耦合姿态-形状公式在单模型多类别设置中表现出色，在SOPE上提升了22%，并在真实世界数据上具有竞争力的迁移能力。

🔬 方法详解

问题定义：本文旨在解决类别级6D姿态估计中的约束不足问题，现有方法在处理部分可见几何体时，难以稳定地推理出准确的姿态。

核心思路：LEGAU框架的核心思想是将高斯场作为类别条件的结构先验，参与多模态特征融合，从而提高姿态推理的准确性和稳定性。

技术框架：LEGAU的整体架构包括多个主要模块：首先，通过变换器融合模块处理RGB-D观察，整合视觉、几何和类别级信息；其次，解码NOCS图、姿态和大小信息，以及基于高斯的对象表示。

关键创新：LEGAU的主要创新在于将高斯场引入姿态估计中，作为结构先验参与推理过程，这一设计与传统方法的分离重建任务形成鲜明对比。

关键设计：在网络结构上，LEGAU采用了变换器架构以实现特征融合，损失函数设计上则考虑了姿态、大小和NOCS对应关系的联合优化，确保了模型的高效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在大量实验中，LEGAU在单模型多类别设置下的表现显著提升，SOPE指标提高了22%。此外，该框架在真实世界数据上的迁移能力也表现出色，显示出其在实际应用中的潜力。

🎯 应用场景

LEGAU框架在机器人视觉、增强现实和自动驾驶等领域具有广泛的应用潜力。通过提供准确的姿态估计，该技术可以帮助机器人更好地理解和互动环境，提升自动化水平。未来，随着技术的进一步发展，LEGAU有望在更多复杂场景中发挥重要作用。

📄 摘要（原文）

Category-level 6D pose estimation from a single RGB-D observation is inherently under-constrained, since partial visible geometry must be interpreted together with a canonical object structure before a stable pose can be determined. We present LEGAU, a unified framework that jointly predicts NOCS correspondence, object pose and size, and a canonical Semantic Gaussian Field. Rather than treating reconstruction as a detached auxiliary task, LEGAU uses the Gaussian field as a category-conditioned structural prior that participates in multimodal feature fusion and provides global guidance for local pose reasoning. Conditioned on a categorical text embedding, LEGAU processes RGB-D observations through a transformer-based fusion module that integrates visual, geometric, and category-level cues, decoding the NOCS map, pose and size information and the Gaussian-based object representation. Extensive experiments on synthetic and real-world benchmarks show that this coupled pose-shape formulation achieves strong performance in a single-model multi-category setting, with up to 22\% on SOPE and competitive transfer to real-world data. These results highlight the benefit of jointly learning canonical correspondence, object shape, and pose alignment within a unified representation.