GenCOPE: Syn2Real Generalized Category-Level Object Pose Estimation for Robotic Picking

📄 arXiv: 2610.01758v1 📥 PDF

作者: Jian Liu, Wei Sun, Zhenqi Dai, Hui Yang, Jian Xiao, Nicu Sebe, Na Zhao

分类: cs.CV

发布日期: 2026-10-01

备注: Accepted by NeurIPS'26

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GenCOPE以解决机器人抓取中的类别级物体姿态估计问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 类别级物体姿态估计 合成到真实 领域泛化 机器人抓取 跨模态融合 语义一致性 轻量化模型

📋 核心要点

  1. 现有的COPE方法依赖于大量真实世界数据，限制了其在新物体类别上的应用和扩展性。
  2. 本文提出了一种仅基于合成数据训练的模型，通过学习领域不变的表示来实现合成到真实的泛化。
  3. 在多个基准测试和真实场景中，所提方法展现出优越的泛化性能，验证了其有效性和实用性。

📝 摘要（中文）

类别级物体姿态估计（COPE）能够对未知物体进行泛化，是机器人3D场景理解的核心技术。然而，现有COPE方法仍需大量真实世界训练数据，限制了其在实际应用中的可扩展性。本文旨在实现合成到真实（Syn2Real）泛化COPE，模型仅在合成数据上训练，并直接泛化到真实世界。为解决合成与真实数据之间显著的领域差距，特别是纹理外观的差异，本文通过学习领域不变的表示来增强领域泛化能力。我们引入2D和3D语义一致性约束，以降低特征编码器对领域特定特征的敏感性。此外，提出了一个端到端的姿态回归框架，利用密集的跨模态融合进一步优化姿态估计。实验结果表明，该方法在REAL275和Wild6D基准以及真实机器人操作场景中表现出优越的Syn2Real泛化性能。

🔬 方法详解

问题定义：本文旨在解决类别级物体姿态估计中的领域差距问题，现有方法需依赖大量真实数据，导致可扩展性不足。

核心思路：通过在合成数据上训练模型，学习领域不变的表示，从而实现对真实世界的有效泛化，降低对领域特定特征的敏感性。

技术框架：整体架构包括特征提取、2D-3D一致性学习和姿态回归三个主要模块。特征提取模块负责从输入数据中提取语义特征，2D-3D一致性学习模块通过跨模态融合优化特征表示，姿态回归模块则输出最终的物体姿态。

关键创新：引入2D和3D语义一致性约束，显著提高了模型对领域变化的鲁棒性，这是与现有方法的本质区别。

关键设计：模型采用全局特征进行操作，设计上追求简洁高效，损失函数结合了语义一致性和姿态回归的目标，确保了模型的轻量化和高效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在REAL275和Wild6D基准测试中，GenCOPE展现出显著的性能提升，相较于传统方法在Syn2Real泛化能力上提高了XX%，在真实场景中的应用效果也得到了验证，显示出良好的实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、自动化仓储和智能制造等。通过实现合成到真实的泛化，GenCOPE能够降低机器人在新环境中部署的成本和时间，提高其适应性和灵活性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Category-level object pose estimation (COPE), capable of generalizing to intra-class unknown objects, has become a core technique for robotic 3D scene understanding. However, existing COPE methods still require labor-intensive recollection of real-world training data for novel object categories, which limits their scalability in practical applications. This paper aims to achieve synthetic-to-real (Syn2Real) generalized COPE, where a model is trained solely on rendered synthetic data and directly generalized to real-world deployments. The central challenge lies in the significant domain gap between synthetic and real-world data, particularly in texture appearance. To address this, we aim to enhance domain generalization by learning domain-invariant representations that capture semantic commonalities among objects within the same category. We introduce 2D and 3D semantic consistency constraints to reduce the sensitivity of feature encoders to domain-specific features. In addition, we propose an end-to-end pose regression framework that performs 2D-3D cross consistency learning, leveraging dense cross-modality fusion to further refine pose estimation. Since simplicity and effectiveness are essential for real-world robotic deployment, our model operates exclusively on global features, yielding a highly lightweight and efficient architecture. Extensive experiments on the REAL275 and Wild6D benchmarks, as well as real-world robotic manipulation scenes, show superior Syn2Real generalization performance of our paradigm. Code and demos are released at https://paperreview99.github.io/GenCOPE/.