ARROW: Arbitrary Reconstruction and Tracking of 4D Observations in the Wild

📄 arXiv: 2610.01314v1 📥 PDF

作者: Ilya Fradlin, Christian Schmidt, Jens Piekenbrinck, Karim Knaebel, Gonzalo Martin Garcia, Bastian Leibe

分类: cs.CV

发布日期: 2026-10-01

备注: Project page at: https://www.vision.rwth-aachen.de/arrow

💡 一句话要点

提出ARROW以解决动态场景的3D重建与跟踪问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景 3D重建 点跟踪 无序不变查询 多视角跟踪 计算机视觉 深度学习

📋 核心要点

  1. 现有方法在动态场景的3D重建和跟踪中面临视角、时间和可见性变化带来的对应关系建立挑战。
  2. ARROW通过无序不变查询方法，统一了来自任意图像集的3D重建与跟踪，提升了模型的泛化能力。
  3. ARROW在WorldTrack和TAPVid-3D上设立了新的3D跟踪性能基准，并在多视角跟踪任务中表现优异。

📝 摘要（中文）

动态场景可以通过移动相机、多个视频流或不同时间拍摄的图像进行捕捉。这些观察揭示了场景几何和运动的互补方面，但将它们结合起来需要在视角、捕捉时间和可见性变化之间建立对应关系。我们提出了ARROW，这是一种前馈模型，统一了来自任意图像集的3D重建和3D点跟踪。其核心是新颖的无序不变查询方法，允许在任意输入中将查询与观察关联。我们展示了在训练过程中暴露模型于更为多样的输入集会提高任务性能。此外，所得到的模型能够推广到更广泛的任务，包括多视角跟踪。经过这种策略训练，ARROW在WorldTrack和TAPVid-3D的3D跟踪任务上建立了新的最先进水平，并在经过调整的仅RGB MVTracker基准上超越了专用的多视角跟踪器，同时在3D重建任务中保持竞争力。代码和权重已公开。

🔬 方法详解

问题定义：本论文旨在解决动态场景中3D重建与跟踪的对应关系建立问题。现有方法在处理不同视角、时间和可见性变化时，往往难以有效整合信息，导致性能下降。

核心思路：ARROW的核心思路是采用无序不变查询方法，这种设计允许模型在任意输入中有效地关联查询与观察，从而提高了模型的灵活性和泛化能力。

技术框架：ARROW的整体架构包括数据输入模块、无序不变查询模块和输出模块。数据输入模块接收来自不同视角和时间的图像，查询模块负责处理和关联这些输入，输出模块则生成3D重建和跟踪结果。

关键创新：ARROW的主要创新在于其无序不变查询方法，这一方法与传统的依赖于固定顺序的查询方式本质上不同，使得模型能够在多样化输入下保持高效性能。

关键设计：在模型设计中，ARROW采用了特定的损失函数以优化查询的准确性，并通过多样化的训练数据集来增强模型的泛化能力。网络结构方面，ARROW结合了卷积神经网络和图神经网络的优势，以提升特征提取和关联能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ARROW在WorldTrack和TAPVid-3D上设立了新的3D跟踪性能基准，超越了现有的专用多视角跟踪器，并在经过调整的RGB-only MVTracker基准上表现出色，显示出显著的性能提升。

🎯 应用场景

ARROW的研究成果在多个领域具有广泛的应用潜力，包括增强现实、机器人导航和视频监控等。通过提高动态场景的3D重建与跟踪精度，ARROW能够为这些应用提供更为可靠的基础，推动相关技术的发展与应用。

📄 摘要（原文）

Dynamic scenes may be captured by a moving camera, multiple video streams, or images taken at different times. These observations reveal complementary aspects of scene geometry and motion, yet bringing them together requires establishing correspondence across viewpoints, capture times, and visibility changes. We introduce ARROW, a feed-forward model that unifies 3D reconstruction and 3D point tracking from arbitrary image sets. At its core is a novel order-invariant querying approach, which allows the association of queries with observations across arbitrary inputs. We show that exposing the model to more diverse sets of inputs during training results in improved task performance. Moreover, the resulting model is capable of generalization to a wider range of tasks including multi-view tracking. Trained with this strategy, ARROW establishes a new state of the art in 3D tracking on WorldTrack and TAPVid-3D and outperforms dedicated multi-view trackers on an adapted RGB-only MVTracker benchmark, while remaining competitive across 3D reconstruction tasks. Code and weights are publicly available.