F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation

📄 arXiv: 2610.31623v1 📥 PDF

作者: Jinyu Zhang, Haitao Lin, Jiashu Hou, Xiangyang Xue, Yanwei Fu

分类: cs.CV

发布日期: 2026-10-22

备注: Accepted at NeurIPS 2026. 22 pages, including the complete technical appendix

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出F2G-Pose以解决类别级RGB-D物体姿态估计问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: RGB-D估计 物体姿态 深度学习 几何监督 实时推理 混合专家模型 机器人视觉

📋 核心要点

  1. 现有方法在类别级RGB-D物体姿态估计中面临高模糊性和效率低下的问题，难以平衡可靠性与实时性。
  2. F2G-Pose通过单次前馈推理直接预测物体姿态和形状，采用密集特征提升和混合专家Transformer设计，提升了效率。
  3. F2G-Pose在SOPE和ROPE数据集上实现了最先进的准确性，且在姿态推理时达到28 FPS，展示了良好的实际应用潜力。

📝 摘要（中文）

本文研究了类别级RGB-D物体姿态估计，旨在无需实例特定的CAD模型或参考视图的情况下恢复物体的三维旋转和位移。由于类内变异、对称性和部分观察，该任务高度模糊。现有解决方案在可靠性和效率之间难以平衡：基于中间结构的方法易受错误传播影响，而扩散模型则面临高推理延迟和复杂的后处理候选提取。为此，本文提出了F2G-Pose，一个实时的直接单次框架，能够从单个RGB-D观察中预测类别级姿态、度量大小和相机框架的完整形状。F2G-Pose将密集的视觉基础特征提升为部分点云，利用DGCNN标记化编码局部几何，并通过混合专家Transformer整合物体级结构。联合大小预测和相机框架形状补全通过密集几何监督促进度量一致性。F2G-Pose在SOPE和ROPE上实现了最先进的准确性，并在28 FPS的姿态推理下运行，展示了强大的相机框架几何和真实物体转移能力。

🔬 方法详解

问题定义：本文旨在解决类别级RGB-D物体姿态估计问题，现有方法在处理类内变异和对称性时存在模糊性，且在效率上难以满足实时需求。

核心思路：F2G-Pose通过单次前馈推理，直接从RGB-D输入中预测物体的姿态、大小和形状，避免了传统方法中的错误传播和高延迟问题。

技术框架：F2G-Pose的整体架构包括特征提升模块、局部几何编码模块和混合专家Transformer模块。特征提升模块将视觉特征转换为部分点云，局部几何编码模块利用DGCNN进行特征标记，最后通过Transformer整合物体结构信息。

关键创新：F2G-Pose的核心创新在于其实时性和单次推理能力，结合了密集几何监督以增强度量一致性，与现有方法相比显著提高了效率和准确性。

关键设计：在网络设计上，F2G-Pose使用了冻结的RADIO骨干网络，并在损失函数中引入了几何监督，以确保姿态和形状预测的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

F2G-Pose在SOPE和ROPE数据集上实现了最先进的准确性，且在姿态推理时达到28 FPS，展示了其在实时应用中的强大能力。此外，该方法在HouseCat6D数据集上表现出色，证明了其在真实场景中的有效性。

🎯 应用场景

该研究在机器人抓取、增强现实和智能监控等领域具有广泛的应用潜力。通过实时的物体姿态估计，F2G-Pose能够为自动化系统提供更高效的环境理解能力，推动智能设备的实际应用和发展。

📄 摘要（原文）

This paper studies category-level RGB-D object pose estimation, which recovers an object's 3D rotation and translation without instance-specific CAD models or reference views. This task is highly ambiguous due to intra-class variations, symmetries, and partial observations. Current solutions struggle to balance reliability and efficiency: methods based on intermediate structures are prone to error propagation, while diffusion models suffer from high inference latency and complex post-hoc candidate extraction. To address this, we present F2G-Pose, a real-time direct, single-pass framework that predicts category-level pose, metric size, and camera-frame completed shape from a single RGB-D observation in one feed-forward pass. F2G-Pose lifts dense visual foundation features to partial point clouds, encodes local geometry with DGCNN tokenization, and integrates object-level structure with a Mixture-of-Experts Transformer. Joint size prediction and camera-frame shape completion encourage metric consistency through dense geometric supervision. With its task-specific network trained only on pose-annotated synthetic SOPE data and its frozen RADIO backbone externally pretrained, F2G-Pose achieves state-of-the-art accuracy on SOPE and ROPE while running at 28 FPS for pose-only inference, and further demonstrates strong camera-frame geometry on HouseCat6D and real-object transfer on HANDAL. Analyses of latency, robustness, shape completion, and GenPose++ candidate behavior further demonstrate the efficiency and reliability of F2G-Pose, with real-world manipulation experiments demonstrating deployment potential under segmented RGB-D inputs. The project page, code, and pretrained models are made available at https://jrryzh.github.io/F2G-Pose/.