WovenAnchor Matcher: Specialized Intra- and Inter-Image Context Modeling for Feature Matching

📄 arXiv: 2610.30799v1 📥 PDF

作者: Zhiyang Li, Ruijiang Jin, Thibaut Klenke, Yusuke Sekikawa, Nakamasa Inoue

分类: cs.CV

发布日期: 2026-10-22

备注: 34 pages, 18 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出WovenAnchor Matcher以解决特征匹配中的上下文建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 特征匹配 上下文聚合 计算机视觉 深度学习 图像处理

📋 核心要点

  1. 现有的半稠密特征匹配方法在上下文信息聚合上存在不足，难以有效处理图像内部和图像间的不同需求。
  2. WovenAnchor Matcher通过引入WovenMamba和AnchorCrossAttention两个操作符，分别针对图像内部和图像间的上下文聚合进行优化。
  3. 在MegaDepth数据集上，WAM的表现优于JamMa基线，姿态AUC@5°提升了2.0 AUC点，验证了方法的有效性。

📝 摘要（中文）

半稠密局部特征匹配通常在粗到细的对应估计之前聚合上下文信息。然而，图像内部和图像间的聚合在角色上有所不同：前者应在每个图像内传播空间证据，同时保留结构化的二维依赖关系，而后者则应从可能的对应区域收集信息，同时限制来自无关位置的噪声。我们提出了WovenAnchor Matcher（WAM），这是一个基于角色专门化上下文聚合的半稠密匹配框架。WAM引入了两个互补的操作符，WovenMamba通过水平-再到垂直的状态空间传播进行图像内部聚合，而AnchorCrossAttention则通过跨注意力机制在图像对之间进行图像间聚合。在MegaDepth数据集上，WAM在相同评估设置下实现了66.1的姿态AUC@5°，比JamMa基线提高了2.0 AUC点。消融实验表明，去除或替换任一专门组件都会降低准确性，证明了图像内部传播和图像间检索受益于角色特定的聚合设计。

🔬 方法详解

问题定义：论文旨在解决半稠密特征匹配中上下文信息聚合的不足，现有方法未能有效区分图像内部和图像间的聚合需求，导致匹配精度下降。

核心思路：WovenAnchor Matcher通过角色专门化的上下文聚合设计，分别引入WovenMamba和AnchorCrossAttention，优化了图像内部和图像间的信息处理，提升了匹配精度。

技术框架：WAM的整体架构包括两个主要模块：WovenMamba用于图像内部的上下文聚合，采用水平-再到垂直的状态空间传播；AnchorCrossAttention用于图像间的上下文聚合，通过跨注意力机制在图像对之间进行信息交换。

关键创新：WovenMamba和AnchorCrossAttention的设计是WAM的核心创新，前者通过结构化的二维接收场偏置增强了内部聚合，后者则通过局部代表锚点有效地限制了噪声，提升了图像间聚合的准确性。

关键设计：WAM在参数设置上进行了优化，特别是在锚点的选择和上下文聚合的策略上，确保了特征证据的有效整合，同时采用了适当的损失函数以提升训练效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MegaDepth数据集上，WovenAnchor Matcher实现了66.1的姿态AUC@5°，相较于JamMa基线提升了2.0 AUC点，显示出其在特征匹配任务中的显著优势。消融实验进一步验证了各组件的必要性，表明角色专门化聚合设计的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像匹配、三维重建和增强现实等场景。通过提高特征匹配的准确性，WovenAnchor Matcher能够在自动驾驶、机器人导航和图像检索等实际应用中发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Semi-dense local feature matching commonly aggregates contextual information before coarse-to-fine correspondence estimation. However, intra-image and inter-image aggregation serve different roles: the former should propagate spatial evidence within each image while retaining structured two-dimensional dependencies, whereas the latter should gather information from plausible corresponding regions while limiting noise from unrelated locations. We propose WovenAnchor Matcher (WAM), a semi-dense matching framework based on role-specialized context aggregation. WAM introduces two complementary operators. WovenMamba performs intra-image aggregation through horizontal-then-vertical state-space propagation, allowing vertical updates to operate on horizontally contextualized features and thereby encouraging a structured two-dimensional receptive-field bias. AnchorCrossAttention performs inter-image aggregation by using cross-attention to gather context from plausible corresponding regions across the image pair. It performs this exchange over local representative anchors that aggregate feature evidence within each window. On MegaDepth, WAM achieves 66.1 pose AUC@5$^\circ$, improving on the JamMa baseline by 2.0 AUC points under the same evaluation setup. Ablations show that removing or replacing either specialized component reduces accuracy, providing evidence that intra-image propagation and inter-image retrieval benefit from role-specific aggregation designs. Code and pretrained weights are available at https://github.com/mmaiLab/WovenAnchorMatcher.