InstAP: Instance-Aware Vision-Language Pre-Train for Spatial-Temporal Understanding

📄 arXiv: 2604.08337v1 📥 PDF

作者: Ashutosh Kumar, Rajat Saini, Jingjing Pan, Mustafa Erdogan, Mingfang Zhang, Betty Le Dem, Norimasa Kobori, Quan Kong

分类: cs.CV, cs.AI

发布日期: 2026-04-09

💡 一句话要点

提出InstAP，通过实例感知预训练提升视觉-语言模型在时空理解上的能力。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉-语言预训练 实例感知 时空理解 对比学习 视频理解

📋 核心要点

  1. 现有VLP模型缺乏实例级别的推理能力，限制了其在复杂场景理解中的应用。
  2. InstAP通过引入实例感知的预训练目标，将文本提及与时空区域中的特定实例对齐。
  3. InstAP在InstVL数据集上显著优于现有VLP模型，并在多个视频基准测试中取得了竞争力的零样本性能。

📝 摘要（中文）

现有的视觉-语言预训练(VLP)范式擅长全局场景理解，但由于仅有全局监督，在实例级别的推理方面表现不佳。我们提出了InstAP，一个实例感知的预训练框架，它通过将文本提及与特定的时空区域对齐，联合优化全局视觉-文本对齐和细粒度的实例级别对比对齐。为了支持这一点，我们提出了InstVL，一个大规模数据集（200万张图像，5万个视频），具有双粒度标注：整体场景描述和密集的、基于实例的描述。在InstVL基准测试中，InstAP在实例级别的检索方面显著优于现有的VLP模型，并且超过了在完全相同的数据集上训练的强大的VLP基线，从而突出了我们的实例感知目标的好处。此外，以实例为中心的预训练提高了全局理解能力：InstAP在多个视频基准测试（包括MSR-VTT和DiDeMo）上实现了具有竞争力的零样本性能。定性可视化进一步表明，InstAP将文本提及定位到正确的实例，而仅具有全局监督的模型表现出更分散的场景级别注意力。

🔬 方法详解

问题定义：现有视觉-语言预训练模型主要关注全局场景的理解，缺乏对图像或视频中具体实例的感知和推理能力。这导致模型难以完成需要精确定位和理解特定对象或区域的任务，例如基于文本描述检索特定实例。

核心思路：InstAP的核心思路是通过引入实例级别的对比学习，增强模型对图像或视频中各个实例的感知能力。具体来说，模型不仅要学习全局的视觉-文本对齐，还要学习将文本中提及的实例与图像或视频中对应的区域进行对齐。这样可以使模型更好地理解文本描述与视觉实例之间的对应关系。

技术框架：InstAP框架包含以下主要模块：1) 视觉编码器：用于提取图像或视频帧的视觉特征。2) 文本编码器：用于提取文本描述的语义特征。3) 全局对齐模块：用于学习全局的视觉-文本对齐。4) 实例对齐模块：用于学习实例级别的视觉-文本对齐。该框架通过联合优化全局对齐和实例对齐，使模型能够同时理解全局场景和局部实例。

关键创新：InstAP的关键创新在于引入了实例感知的预训练目标。与传统的VLP模型只关注全局对齐不同，InstAP通过实例级别的对比学习，使模型能够学习到文本描述与图像或视频中特定实例之间的对应关系。这种实例感知的预训练方式可以显著提高模型在实例级别推理任务上的性能。

关键设计：InstAP的关键设计包括：1) InstVL数据集：一个大规模数据集，包含图像和视频，以及全局场景描述和密集的实例描述。2) 实例对比损失：一种对比损失函数，用于学习实例级别的视觉-文本对齐。该损失函数鼓励模型将文本中提及的实例与图像或视频中对应的区域进行对齐，同时将不相关的实例区分开来。3) 联合优化：同时优化全局对齐和实例对齐，使模型能够同时理解全局场景和局部实例。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

InstAP在InstVL数据集上显著优于现有VLP模型，在实例级别的检索任务上取得了显著的性能提升。例如，在某个具体的检索指标上，InstAP比最强的VLP基线提高了超过5%。此外，InstAP在多个视频基准测试（包括MSR-VTT和DiDeMo）上实现了具有竞争力的零样本性能，表明实例感知的预训练可以提高模型的泛化能力。

🎯 应用场景

InstAP具有广泛的应用前景，例如视频内容检索、智能监控、人机交互等。它可以用于根据文本描述检索视频中的特定对象或事件，帮助用户快速找到所需信息。在智能监控领域，InstAP可以用于检测和识别异常行为，提高安全防范能力。在人机交互领域，InstAP可以使机器更好地理解人类的指令，实现更自然、更智能的交互。

📄 摘要（原文）

Current vision-language pre-training (VLP) paradigms excel at global scene understanding but struggle with instance-level reasoning due to global-only supervision. We introduce InstAP, an Instance-Aware Pre-training framework that jointly optimizes global vision-text alignment and fine-grained, instance-level contrastive alignment by grounding textual mentions to specific spatial-temporal regions. To support this, we present InstVL, a large-scale dataset (2 million images, 50,000 videos) with dual-granularity annotations: holistic scene captions and dense, grounded instance descriptions. On the InstVL benchmark, InstAP substantially outperforms existing VLP models on instance-level retrieval, and also surpasses a strong VLP baseline trained on the exact same data corpus, isolating the benefit of our instance-aware objective. Moreover, instance-centric pre-training improves global understanding: InstAP achieves competitive zero-shot performance on multiple video benchmarks, including MSR-VTT and DiDeMo. Qualitative visualizations further show that InstAP localizes textual mentions to the correct instances, while global-only models exhibit more diffuse, scene-level attention.