VTrajEmbed: Aligning Text with Video Object Trajectories via Spatiotemporal Embeddings

📄 arXiv: 2610.22842v1 📥 PDF

作者: Ruizhi Chen, Zining Fan, Yudi Guo, Jiang Liu, Zhiyu Lin, Zhongjiang He, Shouqian Shi, Hao Sun

分类: cs.CV

发布日期: 2026-10-16

备注: 28 pages, 1 figure

💡 一句话要点

提出VTrajEmbed以解决文本与视频对象轨迹对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态理解 视频对象轨迹 文本对齐 对比学习 轨迹编码 深度学习 检索性能

📋 核心要点

  1. 现有的嵌入模型在全局检索方面表现良好，但难以实现对象级的精确对齐，导致多对象和时空动态的混淆。
  2. VTrajEmbed通过将视频分解为对象轨迹，并对每个轨迹嵌入与文本进行对齐，提供了一种新的对象级定位方法。
  3. 实验结果显示，VTrajEmbed-5B在多个基准测试中显著提高了检索性能，平均R@1达49.48%，优于现有模型。

📝 摘要（中文）

细粒度的文本与视频对象轨迹对齐是多模态理解中的核心挑战。现有的嵌入模型在全局检索方面表现优异，但其单一的全局表示将多个对象及其时空动态纠缠在一起，限制了直接的对象级定位。为了解决这一问题，本文提出了VTrajEmbed，一个嵌入模型，通过将视频分解为对象轨迹并将每个轨迹嵌入与文本对齐，实现对象级定位。主要贡献包括：1) Slow-Fast轨迹编码，采用双分支架构，通过密集采样低分辨率帧获取高频运动线索，稀疏选择高分辨率帧获取场景上下文；2) 掩码引导对比学习，构建了一种训练目标，结合组内损失和批次级双向损失，排除未验证关系；3) Text2Traj-Bench，一个轨迹级文本-视频基准，具有模型辅助构建和人工验证的查询-轨迹关系。实验结果表明，VTrajEmbed-5B在文本到轨迹和轨迹到文本的R@1上分别比Qwen3-VL-Embedding-8B提高了15.48和18.05个百分点。

🔬 方法详解

问题定义：本文旨在解决文本与视频对象轨迹之间的细粒度对齐问题。现有方法的痛点在于其全局表示无法有效区分多个对象及其时空动态，导致对象级定位的困难。

核心思路：VTrajEmbed通过将视频分解为对象轨迹，并将每个轨迹的嵌入与文本对齐，旨在实现更精确的对象级检索。该方法通过双分支架构和对比学习策略，增强了轨迹表示的质量和准确性。

技术框架：整体架构包括两个主要模块：Slow-Fast轨迹编码和Mask-Guided对比学习。前者通过低分辨率和高分辨率帧的结合，提取运动和场景信息；后者则通过掩码机制优化模型训练，确保有效的关系学习。

关键创新：最重要的技术创新在于Slow-Fast轨迹编码和Mask-Guided对比学习的结合。与现有方法相比，VTrajEmbed能够更好地处理对象间的关系，避免了错误匹配的发生。

关键设计：在Slow-Fast轨迹编码中，低分辨率帧用于捕捉高频运动线索，而高分辨率帧则提供场景上下文。Mask-Guided对比学习通过设置关系掩码，排除未验证的关系，确保训练过程中确认的匹配不会被错误标记为负样本。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，VTrajEmbed-5B在文本到轨迹和轨迹到文本的R@1上分别比Qwen3-VL-Embedding-8B提高了15.48和18.05个百分点，且在五个全局检索基准中平均R@1达到49.48%，显著优于42.86%的基线表现。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、智能视频检索等。通过实现文本与视频对象轨迹的精确对齐，VTrajEmbed能够提升多模态理解的能力，推动相关技术的进步与应用。未来，该方法可能在更广泛的多模态任务中发挥重要作用。

📄 摘要（原文）

Fine-grained alignment between text and video object trajectories is a core challenge in multimodal understanding. Existing embedding models excel at global retrieval, yet their single global representation entangles multiple objects and their spatiotemporal dynamics, limiting direct object-level grounding. To address this issue, we propose VTrajEmbed, an embedding model that decomposes a video into object trajectories and aligns each trajectory embedding with text for object-level grounding through retrieval. Our main contributions: (1)Slow-Fast Trajectory Encoding, a dual-branch architecture that establishes trajectory representations by densely sampling low-resolution frames for high-frequency motion cues and sparsely selecting high-resolution frames for scene context, aggregated by a shared LLM backbone; (2)Mask-Guided Contrastive Learning, a training objective built upon these representations that couples an intra-group loss and a batch-level bidirectional loss under a relation mask, excluding unverified relations and preventing confirmed matches from becoming false negatives; (3)Text2Traj-Bench, a trajectory-level text-video benchmark with model-assisted construction and human-verified query--trajectory relations. Experimental results show that VTrajEmbed-5B improves text-to-trajectory and trajectory-to-text R@1 over Qwen3-VL-Embedding-8B by 15.48 and 18.05 percentage points, respectively, and achieves 49.48% average R@1 across five global retrieval benchmarks, compared with 42.86% for Qwen3-VL-Embedding-8B.