Improving Local Feature Matching by Entropy-inspired Scale Adaptability and Flow-endowed Local Consistency
作者: Ke Jin, Jiming Chen, Qi Ye
分类: cs.CV
发布日期: 2026-04-08
DOI: 10.1109/TCSVT.2026.3681288
💡 一句话要点
提出熵引导的尺度自适应和流场局部一致性方法，提升局部特征匹配性能
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 图像匹配 局部特征 尺度自适应 流场估计 局部一致性
📋 核心要点
- 现有半稠密匹配方法在尺度差异大的图像对上，由于互最近邻匹配的限制，容易出现匹配错误。
- 论文提出一种尺度感知匹配模块，利用分数矩阵中的信息估计尺度比例，从而改善粗匹配阶段的性能。
- 通过将精匹配阶段建模为流场细化问题，并引入梯度损失，增强匹配结果的局部一致性，提高鲁棒性。
📝 摘要（中文）
本文针对半稠密图像匹配方法中存在的两个长期问题进行了改进。首先，在粗匹配阶段，互最近邻（MNN）匹配层的过度排除问题使其难以处理图像间存在尺度差异的情况。为此，我们重新审视了匹配机制，发现分数矩阵中隐藏的信息可以用于指示尺度比例。基于此，我们提出了一种尺度感知匹配模块，该模块非常有效且引入的开销可忽略不计。其次，在精匹配阶段，现有方法忽略了最终匹配的局部一致性，这削弱了它们的鲁棒性。为此，我们没有独立地预测每个源像素的对应关系，而是将精匹配阶段重新定义为级联流场细化问题，并引入了一种新的梯度损失来鼓励流场的局部一致性。大量实验表明，我们提出的匹配流程通过这些改进，在下游任务上实现了鲁棒和准确的匹配性能。
🔬 方法详解
问题定义：现有半稠密图像匹配方法在处理具有显著尺度差异的图像时，粗匹配阶段的互最近邻（MNN）策略容易排除正确的匹配，导致匹配性能下降。此外，精匹配阶段通常独立预测每个像素的对应关系，忽略了匹配结果应具有的局部一致性，降低了匹配的鲁棒性。
核心思路：论文的核心思路是在粗匹配阶段，利用匹配分数矩阵中蕴含的尺度信息，自适应地调整匹配策略，从而缓解MNN的过度排除问题。在精匹配阶段，将匹配问题转化为流场估计问题，通过约束流场的局部一致性，提高匹配的鲁棒性。
技术框架：该方法包含粗匹配和精匹配两个阶段。在粗匹配阶段，首先提取图像特征，然后计算匹配分数矩阵。接着，利用提出的尺度感知匹配模块，根据分数矩阵估计尺度比例，并调整匹配策略。在精匹配阶段，将粗匹配结果作为初始流场，通过级联的流场细化网络进行优化，并使用梯度损失来约束流场的局部一致性。
关键创新：论文的关键创新点在于：1) 提出了一种尺度感知匹配模块，能够利用匹配分数矩阵中的信息自适应地估计尺度比例，并调整匹配策略，从而改善粗匹配阶段的性能。2) 将精匹配阶段建模为流场细化问题，并引入梯度损失来约束流场的局部一致性，从而提高匹配的鲁棒性。
关键设计：尺度感知匹配模块的关键在于如何从匹配分数矩阵中提取尺度信息。论文通过分析分数矩阵的统计特性，发现尺度比例与分数矩阵的熵相关。因此，论文使用熵来估计尺度比例，并根据估计的尺度比例调整匹配阈值。在精匹配阶段，梯度损失被设计用来约束相邻像素的流向量的差异，从而保证流场的局部一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在多个数据集上取得了显著的性能提升。例如，在存在较大尺度差异的图像匹配任务中，该方法相比现有方法提高了匹配精度和召回率。此外，该方法在下游任务，如三维重建中，也表现出更好的性能。
🎯 应用场景
该研究成果可应用于三维重建、视觉定位、SLAM、图像拼接、目标跟踪等领域。通过提高图像匹配的准确性和鲁棒性，可以提升这些应用在复杂场景下的性能，例如在光照变化、尺度变化、遮挡等情况下。
📄 摘要（原文）
Recent semi-dense image matching methods have achieved remarkable success, but two long-standing issues still impair their performance. At the coarse stage, the over-exclusion issue of their mutual nearest neighbor (MNN) matching layer makes them struggle to handle cases with scale difference between images. To this end, we comprehensively revisit the matching mechanism and make a key observation that the hint concealed in the score matrix can be exploited to indicate the scale ratio. Based on this, we propose a scale-aware matching module which is exceptionally effective but introduces negligible overhead. At the fine stage, we point out that existing methods neglect the local consistency of final matches, which undermines their robustness. To this end, rather than independently predicting the correspondence for each source pixel, we reformulate the fine stage as a cascaded flow refinement problem and introduce a novel gradient loss to encourage local consistency of the flow field. Extensive experiments demonstrate that our novel matching pipeline, with these proposed modifications, achieves robust and accurate matching performance on downstream tasks.