FAST: Flow Any Scene Transformer

📄 arXiv: 2609.39748v1 📥 PDF

作者: Yongjian Zhang, Longguang Wang, Zhuo Song, Zhiheng Fu, Liang Lin, Yulan Guo

分类: cs.CV

发布日期: 2026-09-30

💡 一句话要点

提出FAST以解决跨视图匹配问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨视图匹配 视觉基础模型 自注意力 深度学习 计算机视觉 图像配对 多视图学习

📋 核心要点

  1. 现有方法在跨视图匹配中未能充分利用单视图模型的潜力，导致性能不足。
  2. FAST通过重用单视图模型中的查询-键投影，采用零参数重接策略实现跨视图交互。
  3. 实验结果表明，FAST在多个基准测试中表现出色，且在模型规模和数据量上具有良好的扩展性。

📝 摘要（中文）

随着语言和视觉基础模型的扩展，精确对应匹配的作用尚未得到充分探索。本文提出了Flow Any Scene Transformer（FAST），这是一个可扩展的对应模型，基于两个关键见解。首先，我们揭示了单视图视觉基础模型中的查询-键投影编码了用于跨视图匹配的粗略但可重用的先验。其次，在交叉注意力形式中重用这些预训练投影，为基于ViT的匹配器提供了高效的初始化。FAST利用零参数重接策略将选定的自注意力层转换为跨注意力，以实现跨视图交互。通过构建一个600万对的训练语料库，FAST在各种基准测试中实现了最先进的性能，并在主干网络规模和训练数据上具有良好的扩展性。

🔬 方法详解

问题定义：本文旨在解决跨视图匹配中的精确对应问题。现有方法未能充分利用单视图模型的潜力，导致在不同视图之间的匹配性能不足。

核心思路：FAST的核心思路是重用单视图视觉基础模型中的查询-键投影，这些投影提供了跨视图匹配的先验信息。通过将自注意力层转换为跨注意力层，FAST能够实现高效的跨视图交互。

技术框架：FAST基于一个简单的单视图基础模型构建，采用零参数重接策略，将选定的自注意力层转化为跨注意力层。整体架构包括输入层、重接层和输出匹配层，确保信息的有效传递与处理。

关键创新：FAST的主要创新在于其零参数重接策略，允许在不需要专门的配对预训练阶段的情况下，直接利用单视图模型的能力。这一设计使得模型能够随着单视图基础模型的进步而扩展。

关键设计：在设计中，FAST使用了特定的损失函数来优化匹配精度，同时确保了网络结构的简洁性与高效性。关键参数设置经过精心调整，以实现最佳的匹配性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，FAST实现了最先进的性能，特别是在600万对训练数据的支持下，模型在匹配精度上显著提升。与现有方法相比，FAST在主干网络规模和训练数据的扩展性方面表现优越，展现出良好的适应性和效率。

🎯 应用场景

FAST在计算机视觉领域具有广泛的应用潜力，特别是在图像配对、场景重建和增强现实等任务中。其高效的跨视图匹配能力可以为多视图学习和图像分析提供重要支持，推动相关技术的进步与应用。未来，FAST的设计理念也可能被应用于其他领域，如视频分析和自动驾驶等。

📄 摘要（原文）

Scaling has become a primary driver of progress in language and vision foundation models, yet its role in precise correspondence matching remains underexplored. In this work, we present Flow Any Scene Transformer (FAST), a scalable correspondence model driven by two key insights. First, we reveal that the query-key projections inside single-view vision foundation models encode a coarse yet reusable prior for cross-view matching. Second, reusing these pretrained projections in cross-attention form yields a highly effective initialization for a ViT-based matcher built from a single-view encoder. Guided by these insights, we build FAST upon a vanilla single-view foundation model, utilizing a zero-parameter rewiring strategy to convert selected self-attention layers into cross-attention for cross-view interaction. This design allows ViT-based matchers to scale with advances in single-view foundation models, bypassing the need for a dedicated pair-centric pretraining stage. To fully unlock the scaling potential of this formulation, we assemble a 6-million-pair training corpus for general-purpose dense 2D displacement estimation across diverse co-visible image pairs. Extensive experiments demonstrate that FAST achieves state-of-the-art performance across a wide range of benchmarks, while scaling favorably with both backbone size and training data.