Advancing Complex Video Object Segmentation via Tracking-Enhanced Prompt: The 1st Winner for 5th PVUW MOSE Challenge

📄 arXiv: 2604.00395v1 📥 PDF

作者: Jinrong Zhang, Canyang Wu, Xusheng He, Weili Guan, Jianlong Wu, Liqiang Nie

分类: cs.CV

发布日期: 2026-04-01

备注: 1st Place Solution for the 5th PVUW MOSE Challenge (CVPR 2026 Workshop)

💡 一句话要点

提出TEP：通过追踪增强提示改进复杂视频对象分割，荣获PVUW MOSE挑战赛冠军

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频对象分割 目标跟踪 多模态学习 大型语言模型 提示学习

📋 核心要点

  1. 现有方法如SAM3在复杂视频对象分割中，对微小和语义主导对象理解不足，导致分割性能下降。
  2. TEP通过引入外部跟踪模型和多模态大型语言模型，生成跟踪增强提示，提升模型对目标的理解。
  3. TEP是一种免训练方法，在PVUW挑战赛中获得第一名，证明了其在复杂场景下的有效性。

📝 摘要（中文）

在复杂视频对象分割任务中，研究人员需要在杂乱的环境中跟踪和分割特定目标，这严格考验了方法对目标理解和环境适应的能力。虽然当前最先进的解决方案SAM3在传统目标上表现出无与伦比的分割性能和鲁棒性，但在微小和语义主导的对象上表现不佳。这种局限性的根本原因在于SAM3对这些特定目标类型理解不足。为了解决这个问题，我们提出了TEP：通过追踪增强提示改进复杂视频对象分割。作为一种免训练方法，TEP利用外部跟踪模型和多模态大型语言模型来引入跟踪增强提示，从而减轻SAM3在理解这些具有挑战性的目标时面临的困难。我们的方法在PVUW挑战赛2026：复杂视频对象分割赛道的测试集上获得了第一名（56.91%）。

🔬 方法详解

问题定义：论文旨在解决复杂视频对象分割任务中，现有方法（如SAM3）在处理微小和语义主导对象时表现不佳的问题。现有方法的痛点在于对这些特定类型的目标理解不足，导致分割精度下降，尤其是在环境复杂、目标难以区分的情况下。

核心思路：论文的核心思路是利用外部跟踪模型和多模态大型语言模型来增强模型对目标的理解。通过跟踪模型提供目标的位置信息，并利用大型语言模型提供目标的语义信息，从而生成更有效的提示，指导分割模型进行更准确的分割。这样设计的目的是弥补SAM3等模型在目标理解方面的不足，提高其在复杂场景下的分割性能。

技术框架：TEP方法的整体框架包括以下几个主要模块：1) 目标跟踪模块：使用外部跟踪模型（具体模型未知）跟踪视频中的目标对象，提供目标的位置信息。2) 多模态大型语言模型：利用大型语言模型（具体模型未知）分析目标对象的语义信息，例如目标的类别、属性等。3) 提示生成模块：结合目标的位置信息和语义信息，生成跟踪增强提示。4) 分割模块：使用SAM3等分割模型，根据跟踪增强提示对目标对象进行分割。

关键创新：该方法最重要的技术创新点在于引入了跟踪增强提示，将目标跟踪和多模态语义信息融入到分割过程中。与现有方法相比，TEP不是直接依赖分割模型自身的特征提取能力，而是通过外部信息来引导分割，从而提高了模型对目标的理解能力和分割精度。

关键设计：论文中未提供关于参数设置、损失函数、网络结构等技术细节的具体信息。但是，可以推测，跟踪模型的选择、大型语言模型的提示方式、以及提示信息与分割模型的融合方式是关键的设计要素。这些要素的具体实现方式将直接影响TEP方法的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TEP方法在PVUW挑战赛2026的复杂视频对象分割赛道上获得了第一名，达到了56.91%的性能指标。这一结果表明，TEP方法在复杂场景下的目标分割方面具有显著优势，优于其他参赛方法。具体对比基线和提升幅度未知。

🎯 应用场景

该研究成果可应用于智能监控、自动驾驶、视频编辑、医学图像分析等领域。在智能监控中，可以更准确地跟踪和分割可疑目标；在自动驾驶中，可以更可靠地识别和分割车辆、行人等关键对象；在视频编辑中，可以更方便地对视频中的特定对象进行编辑和处理；在医学图像分析中，可以更精确地分割病灶区域，辅助医生进行诊断。

📄 摘要（原文）

In the Complex Video Object Segmentation task, researchers are required to track and segment specific targets within cluttered environments, which rigorously tests a method's capability for target comprehension and environmental adaptability. Although SAM3, the current state-of-the-art solution, exhibits unparalleled segmentation performance and robustness on conventional targets, it underperforms on tiny and semantic-dominated objects. The root cause of this limitation lies in SAM3's insufficient comprehension of these specific target types. To address this issue, we propose TEP: Advancing Complex Video Object Segmentation via Tracking-Enhanced Prompts. As a training-free approach, TEP leverages external tracking models and Multimodal Large Language Models to introduce tracking-enhanced prompts, thereby alleviating the difficulty SAM3 faces in understanding these challenging targets. Our method achieved first place (56.91%) on the test set of the PVUW Challenge 2026: Complex Video Object Segmentation Track.