Enhancing Sa2VA for Referent Video Object Segmentation: 2nd Solution for 7th LSVOS RVOS Track

📄 arXiv: 2509.15546v1 📥 PDF

作者: Ran Hong, Feng Lu, Leilei Cao, An Yan, Youhai Jiang, Fengjie Zhu

分类: cs.CV

发布日期: 2025-09-19

备注: 6 pages, 2 figures

💡 一句话要点

针对指代表达视频目标分割，提出视频语言检查器与关键帧采样方法，显著提升Sa2VA性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指代表达视频目标分割 视频语言理解 关键帧采样 视频内容验证 大型语言模型

📋 核心要点

  1. 现有RVOS方法在处理复杂场景时易受语言歧义和视频内容不匹配的影响，导致分割精度下降。
  2. 通过引入视频-语言检查器和关键帧采样器，显式验证语言描述与视频内容的一致性，并提取最具代表性的帧。
  3. 该方法在MeViS测试集上取得了显著的性能提升，J&F分数达到64.14%，在LSVOS挑战赛中名列前茅。

📝 摘要（中文）

指代表达视频目标分割（RVOS）旨在分割视频中所有与给定自然语言描述相匹配的对象，弥合视觉和语言理解之间的差距。最近的工作，如Sa2VA，结合了大型语言模型（LLMs）与SAM，利用LLMs强大的视频推理能力来指导视频分割。本文提出了一种无需训练的框架，可显著提高Sa2VA在RVOS任务上的性能。我们的方法引入了两个关键组件：（1）一个视频-语言检查器，它显式地验证查询中描述的主题和动作是否实际出现在视频中，从而减少误报；（2）一个关键帧采样器，它自适应地选择信息丰富的帧，以更好地捕捉早期的对象外观和长程时间上下文。在没有任何额外训练的情况下，我们的方法在MeViS测试集上实现了64.14%的J&F分数，在ICCV 2025第七届LSVOS挑战赛的RVOS赛道中排名第二。

🔬 方法详解

问题定义：论文旨在解决指代表达视频目标分割（RVOS）任务中，现有方法容易受到语言描述与视频内容不匹配以及时间上下文信息不足的影响，导致分割精度不高的问题。现有方法，如Sa2VA，虽然利用了LLM的推理能力，但缺乏对视频内容本身的显式验证，容易产生误报。

核心思路：论文的核心思路是通过引入视频-语言检查器来显式验证语言描述与视频内容的一致性，减少误报；同时，通过关键帧采样器自适应地选择信息丰富的帧，以更好地捕捉对象的外观变化和长程时间上下文信息。这样可以更准确地理解语言描述并将其与视频内容对齐，从而提高分割精度。

技术框架：整体框架包含三个主要模块：Sa2VA基础模型、视频-语言检查器和关键帧采样器。首先，使用Sa2VA模型进行初步的分割预测。然后，视频-语言检查器验证语言描述中的主体和动作是否出现在视频中，过滤掉不匹配的预测。最后，关键帧采样器选择信息量最大的帧，并利用这些帧进行更精确的分割。

关键创新：最重要的技术创新点在于视频-语言检查器和关键帧采样器的设计。视频-语言检查器通过显式验证语言描述与视频内容的一致性，有效减少了误报，这是与现有方法最本质的区别。关键帧采样器则能够自适应地选择信息丰富的帧，从而更好地捕捉对象的外观变化和长程时间上下文信息。

关键设计：视频-语言检查器可能使用了预训练的视觉-语言模型（如CLIP）来计算语言描述和视频帧之间的相似度，并设置阈值来判断是否匹配。关键帧采样器可能使用了基于信息熵或显著性的方法来选择信息量最大的帧。具体的参数设置和网络结构细节未知。

📊 实验亮点

该方法在MeViS测试集上取得了显著的性能提升，J&F分数达到64.14%，在第七届LSVOS挑战赛的RVOS赛道中排名第二。该方法无需额外的训练，即可显著提高Sa2VA的性能，表明了其良好的泛化能力和实用价值。

🎯 应用场景

该研究成果可应用于智能视频监控、视频编辑、自动驾驶等领域。例如，在智能视频监控中，可以根据自然语言描述快速定位和分割特定目标；在视频编辑中，可以根据语言指令精确地编辑视频内容；在自动驾驶中，可以根据语言指令识别和跟踪特定车辆或行人。

📄 摘要（原文）

Referential Video Object Segmentation (RVOS) aims to segment all objects in a video that match a given natural language description, bridging the gap between vision and language understanding. Recent work, such as Sa2VA, combines Large Language Models (LLMs) with SAM~2, leveraging the strong video reasoning capability of LLMs to guide video segmentation. In this work, we present a training-free framework that substantially improves Sa2VA's performance on the RVOS task. Our method introduces two key components: (1) a Video-Language Checker that explicitly verifies whether the subject and action described in the query actually appear in the video, thereby reducing false positives; and (2) a Key-Frame Sampler that adaptively selects informative frames to better capture both early object appearances and long-range temporal context. Without any additional training, our approach achieves a J&F score of 64.14% on the MeViS test set, ranking 2nd place in the RVOS track of the 7th LSVOS Challenge at ICCV 2025.