PnP-Transformer: A Neural Pose Solver for 6D Object Pose Estimation

📄 arXiv: 2610.26096v1 📥 PDF

作者: Emirkan Burak Yilmaz, Yakup Genc

分类: cs.CV

发布日期: 2026-10-19

备注: Accepted to ECCV 2026 R6D Workshop

🔗 代码/项目: GITHUB

💡 一句话要点

提出PnP-Transformer以解决6D物体姿态估计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 6D物体姿态估计 神经网络 PnP算法 实时计算 计算机视觉 深度学习

📋 核心要点

  1. 现有的PnP-RANSAC算法在处理6D物体姿态估计时存在迭代过程和计算延迟的问题，影响了实时应用的效果。
  2. PnP-Transformer通过无迭代的方式，利用神经网络处理2D-3D对应关系，提供了一种新的姿态求解思路。
  3. 在七个BOP基准数据集上，PnP-Transformer实现了41.2%的平均AR分数，显著优于大多数现有方法，展示了其高效性和准确性。

📝 摘要（中文）

我们提出了PnP-Transformer，这是一种神经姿态求解器，作为经典PnP-RANSAC算法的无迭代、可微分替代方案。PnP-Transformer通过处理预测的半稠密2D-3D对应场和置信度分数来回归6D物体姿态，同时将几何输入映射到连续的潜在空间。为了评估其实用性，我们将PnP-Transformer集成到零样本6D姿态估计管道中，其中对应模块和姿态求解器分别训练。PnP-Transformer在七个核心BOP基准数据集上实现了41.2%的平均AR分数，延迟低（0.46秒/物体），超越了所有先前基线（如RayPose的39.1% AR），但有一个例外（Co-op的58.4% AR）。当将姿态求解器替换为EPnP-RANSAC（类似于Co-op），而保持对应模块不变时，RANSAC替代方案在七个数据集中的六个上超越了PnP-Transformer，达到了52.2%的平均AR，增加了每个物体60毫秒的成本，揭示了准确性与延迟之间的权衡。

🔬 方法详解

问题定义：本论文旨在解决6D物体姿态估计中的计算效率和准确性问题，现有的PnP-RANSAC方法由于迭代过程导致延迟较高，限制了其在实时应用中的有效性。

核心思路：PnP-Transformer通过构建一个无迭代的神经网络框架，直接从2D-3D对应关系中回归物体姿态，避免了传统方法的复杂性和延迟。

技术框架：PnP-Transformer的整体架构包括两个主要模块：对应模块和姿态求解器。对应模块负责生成2D-3D对应关系，而姿态求解器则基于这些关系进行姿态回归。

关键创新：最重要的创新在于将几何输入映射到连续的潜在空间，并通过神经网络实现可微分的姿态求解，这与传统的基于RANSAC的离散方法形成鲜明对比。

关键设计：在设计中，PnP-Transformer采用了特定的损失函数来优化姿态回归的准确性，同时通过置信度分数来增强模型的鲁棒性，确保在不同场景下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PnP-Transformer在七个BOP基准数据集上实现了41.2%的平均AR分数，延迟仅为0.46秒/物体，超越了大多数现有基线（如RayPose的39.1% AR）。尽管在与EPnP-RANSAC的比较中，后者在六个数据集上表现更佳，但PnP-Transformer在准确性与延迟之间提供了新的平衡视角。

🎯 应用场景

PnP-Transformer在机器人视觉、增强现实和自动驾驶等领域具有广泛的应用潜力。其高效的姿态估计能力能够支持实时物体识别和交互，提升智能系统的自主性和智能化水平。未来，该方法可能进一步推动6D姿态估计技术的发展，促进相关领域的创新应用。

📄 摘要（原文）

We present PnP-Transformer, a neural pose solver designed as an iterative-free, differentiable alternative to classical PnP-RANSAC algorithms. PnP-Transformer regresses the 6D object pose by processing predicted semi-dense 2D-3D correspondence fields alongside confidence scores, while mapping geometric inputs into a continuous latent space. To evaluate its practical utility, we integrate PnP-Transformer into a zero-shot 6D pose estimation pipeline, where the correspondence module and pose solver are trained separately. PnP-Transformer achieves a 41.2% mean AR score with low latency (0.46 s/obj) on seven core BOP benchmark datasets, surpassing all prior baselines (such as RayPose with 39.1% AR) but one (Co-op with 58.4% AR). When the pose solver is replaced with EPnP-RANSAC (similar to Co-op) while keeping the correspondence module unchanged, the RANSAC alternative outperforms PnP-Transformer on six of the seven datasets by reaching 52.2% mean AR at a cost of an additional 60 ms per object, revealing an accuracy-latency trade-off. Code and pretrained models are available: https://github.com/ebylmz/pnp-transformer