FaVoR: Features via Voxel Rendering for Camera Relocalization
作者: Vincenzo Polizzi, Marco Cannici, Davide Scaramuzza, Jonathan Kelly
分类: cs.CV, cs.RO
发布日期: 2024-09-11 (更新: 2025-05-21)
备注: In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), Tucson, Arizona, US, Feb 28-Mar 4, 2025
DOI: 10.1109/WACV61041.2025.00015
💡 一句话要点
FaVoR：利用体素渲染特征实现相机重定位，提升视角变化下的鲁棒性。
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 相机重定位 体素渲染 特征匹配 视角不变性 三维重建
📋 核心要点
- 现有基于特征的相机重定位方法在视角和外观变化较大时，匹配精度显著下降，限制了其应用。
- FaVoR通过构建稀疏体素地图，并利用体渲染技术合成新视角的特征描述符，从而增强了对视角变化的鲁棒性。
- 在室内数据集上，FaVoR显著优于现有方法，中值平移误差最多可提高39%，并在室外场景中保持了竞争力。
📝 摘要（中文）
相机重定位方法涵盖了从密集图像对齐到直接从查询图像回归相机位姿等多种技术。其中，稀疏特征匹配因其高效、通用和轻量级的特点而备受关注，并拥有广泛的应用。然而，基于特征的方法在面对显著的视角和外观变化时常常表现不佳，导致匹配失败和不准确的位姿估计。为了克服这一局限性，我们提出了一种新颖的方法，该方法利用2D特征的全局稀疏但局部密集的3D表示。通过跟踪和三角化序列帧中的地标，我们构建了一个稀疏体素地图，该地图经过优化以渲染在跟踪期间观察到的图像块描述符。给定初始位姿估计，我们首先使用体渲染从体素合成描述符，然后执行特征匹配以估计相机位姿。这种方法能够为未见过的视角生成描述符，从而增强了对视角变化的鲁棒性。我们在7-Scenes和Cambridge Landmarks数据集上广泛评估了我们的方法。结果表明，我们的方法在室内环境中显著优于现有的最先进的特征表示技术，中值平移误差最多可提高39%。此外，我们的方法在室外场景中产生了与其他方法相当的结果，同时保持了较低的内存和计算成本。
🔬 方法详解
问题定义：论文旨在解决相机重定位中，由于视角和外观变化导致特征匹配失败，从而影响位姿估计精度的问题。现有方法在处理视角变化时，特征描述符的鲁棒性不足，导致匹配错误率升高。
核心思路：论文的核心思路是利用3D体素表示场景，并使用体渲染技术从任意视角合成特征描述符。通过这种方式，即使在训练数据中未出现的视角，也能生成可靠的特征，从而提高匹配的准确性。这种方法将2D特征信息编码到3D空间中，从而更好地应对视角变化。
技术框架：整体流程包括：1) 使用跟踪和三角化方法构建稀疏体素地图；2) 给定初始位姿估计，使用体渲染技术从体素地图中合成目标视角的特征描述符；3) 将合成的特征描述符与查询图像中的特征进行匹配；4) 使用匹配结果优化相机位姿。
关键创新：最重要的创新点在于使用体渲染技术生成新视角的特征描述符。与传统的特征提取方法不同，该方法不是直接从图像中提取特征，而是从3D体素地图中渲染特征，从而实现了视角无关的特征表示。
关键设计：体素地图的构建依赖于高质量的跟踪和三角化结果。体渲染过程需要仔细设计渲染方程，以保证合成的特征描述符与真实图像中的特征描述符具有一致性。此外，特征匹配算法的选择也会影响最终的重定位精度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FaVoR在7-Scenes和Cambridge Landmarks数据集上取得了显著的性能提升。在室内环境中，FaVoR的中值平移误差最多可提高39%，表明其在视角变化较大的场景中具有更强的鲁棒性。此外，该方法在室外场景中也取得了与现有方法相当的结果，同时保持了较低的内存和计算成本。
🎯 应用场景
该研究成果可应用于增强现实、机器人导航、自动驾驶等领域。通过提高相机重定位的精度和鲁棒性，可以改善AR/VR体验，提升机器人自主导航能力，并为自动驾驶系统提供更可靠的定位信息。未来，该方法有望扩展到更大规模的场景，并与其他传感器融合，实现更精确、更稳定的定位。
📄 摘要（原文）
Camera relocalization methods range from dense image alignment to direct camera pose regression from a query image. Among these, sparse feature matching stands out as an efficient, versatile, and generally lightweight approach with numerous applications. However, feature-based methods often struggle with significant viewpoint and appearance changes, leading to matching failures and inaccurate pose estimates. To overcome this limitation, we propose a novel approach that leverages a globally sparse yet locally dense 3D representation of 2D features. By tracking and triangulating landmarks over a sequence of frames, we construct a sparse voxel map optimized to render image patch descriptors observed during tracking. Given an initial pose estimate, we first synthesize descriptors from the voxels using volumetric rendering and then perform feature matching to estimate the camera pose. This methodology enables the generation of descriptors for unseen views, enhancing robustness to view changes. We extensively evaluate our method on the 7-Scenes and Cambridge Landmarks datasets. Our results show that our method significantly outperforms existing state-of-the-art feature representation techniques in indoor environments, achieving up to a 39% improvement in median translation error. Additionally, our approach yields comparable results to other methods for outdoor scenarios while maintaining lower memory and computational costs.