Agentic Relative Camera Pose Estimation via Learned Ranking and Verification

📄 arXiv: 2609.38755v1 📥 PDF

作者: Zhining Gu, Shangjie Du, Weimin Qiu, Carl Olsson, Ping Liu, Meng Tang

分类: cs.CV

发布日期: 2026-09-30

备注: 22 pages, including 10 pages for the main body

💡 一句话要点

提出PoseAgent以解决相对相机位姿估计中的多样性挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 相机位姿估计 深度学习 动态选择 验证机制 计算机视觉 机器人导航 增强现实

📋 核心要点

  1. 现有相机位姿估计方法在面对不同挑战时表现不均，缺乏通用性。
  2. PoseAgent框架通过提取图像对的特征，动态选择最优的位姿估计器，并进行验证。
  3. PoseAgent在多个数据集上显著提升了位姿估计的准确性，验证网络的性能优于以往模型。

📝 摘要（中文）

相机位姿估计的多种方法已被提出，包括基于对应关系的方法、端到端的位姿回归以及最近的3D几何基础模型。本文的关键观察是，没有单一的估计器能够在广泛的挑战中表现最佳，如宽基线、缺乏纹理、外观变化和遮挡等。我们引入PoseAgent，一个动态协调位姿估计器的框架，通过可学习的排名和验证来进行相对相机位姿估计。PoseAgent在ARKitScenes、MegaDepth、ScanNet++和RealEstate10K等数据集上，AUC@5度提升了最高4.2%。

🔬 方法详解

问题定义：本文旨在解决相对相机位姿估计中的多样性挑战，现有方法在不同场景下表现不均，无法满足实际需求。

核心思路：PoseAgent框架通过提取图像对的外观、语义和几何特征，动态选择和验证多个位姿估计器，以提高估计的准确性和鲁棒性。

技术框架：PoseAgent包括三个主要模块：特征提取代理、排名代理和验证代理。特征提取代理负责提取与位姿估计相关的特征，排名代理根据特征预测各估计器的相对能力，验证代理则评估预测的位姿误差。

关键创新：PoseAgent的核心创新在于其动态选择和验证机制，通过学习的排名和验证策略，显著提升了位姿估计的准确性，与传统方法相比具有更高的适应性。

关键设计：在设计中，特征提取使用了深度学习网络，损失函数采用了针对位姿误差的优化策略，验证网络的结构经过精心设计以提高预测精度。该框架的灵活性使其能够适应不同的场景和挑战。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数据集上，PoseAgent的AUC@5度提升了最高4.2%，超越了最强的独立估计器。此外，在ARKitScenes上，PoseAgent的表现也优于基于VLM的代理，显示出其学习排名和验证机制的有效性。

🎯 应用场景

PoseAgent的研究成果在机器人导航、增强现实和计算机视觉等领域具有广泛的应用潜力。通过提高相机位姿估计的准确性，该方法能够增强自动驾驶、无人机飞行和虚拟现实等技术的可靠性和用户体验，未来可能推动相关技术的进一步发展和应用。

📄 摘要（原文）

A wide range of approaches have been developed for camera pose estimation, including correspondence-based methods, end-to-end pose regression, and recent 3D geometric foundation models. Our key observation is that no single estimator is optimal for diverse challenges, such as wide baselines, lack of texture, appearance changes, and occlusions. Further analysis reveals substantial performance variation across both benchmarks and individual image pairs, with different estimators exhibiting complementary strengths. We introduce PoseAgent, an agentic framework for relative camera pose estimation that dynamically orchestrates pose estimators through learnable ranking and verification. Given an image pair, a profiling agent first extracts appearance, semantic, and geometric features relevant to pose estimation, e.g., scene type. A learned ranking agent then predicts the relative competence of multiple pose estimators given the image-pair profile. The top-ranked estimator is executed, and its predicted pose is assessed by a learned verification agent that estimates the corresponding pose error. When verification fails, PoseAgent adaptively invokes lower-ranked estimators until a candidate is accepted or the execution budget is reached. For pose verification, our verification network predicts pose errors more accurately than prior models. For pose estimation, PoseAgent improves AUC@5 degree up to 4.2% over the strongest standalone estimator on each of ARKitScenes, MegaDepth, ScanNet++, and RealEstate10K. On ARKitScenes, PoseAgent also outperforms VLM-based agents, which include a VLM ranker with the same verifier and fallback policy. These results demonstrate the effectiveness of our learned ranking and verification.