MoVISA: Multi-Token Reasoning for Video Object Segmentation

📄 arXiv: 2609.28956v1 📥 PDF

作者: Ruining Zhao, Ho Kei Cheng, Alexander G Schwing

分类: cs.CV

发布日期: 2026-09-24

💡 一句话要点

提出MoVISA以解决视频物体分割中的单一标记局限性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频物体分割 多模态推理 深度学习 时空掩码 模型可解释性

📋 核心要点

  1. 现有方法在视频物体分割中使用单一标记，导致无法精确定位多个物体，缺乏细粒度的分割能力。
  2. 论文提出MoVISA，通过使用多个分割标记来表示不同帧中的物体，实现更精细的时空掩码预测。
  3. 在多个基准测试中，MoVISA在MeViS和ReVOS上分别提升了13.2%和8.4%的J和F指标，显示出显著的性能改进。

📝 摘要（中文）

近年来，利用多模态大语言模型（MLLM）推理进行视频物体分割的研究取得了显著进展，尤其是使用单一文本标记（如SEG）来预测分割掩码。然而，这种单标记策略缺乏在视频分割任务中精确定位多个物体所需的细粒度。为了解决这一限制，本文提出了多标记推理方法MoVISA。MoVISA使用多个分割标记（如SEG0和SEG1）来表示不同帧中的物体，从而实现语言提示与时空掩码预测之间的更精细对齐，提升了性能和可解释性。在MeViS、DAVIS17、ReVOS和Ref-Youtube-VOS等基准测试中，模型在MeViS上取得了13.2%的J和F提升，在ReVOS上取得了8.4%的J和F提升。代码和模型将会发布。

🔬 方法详解

问题定义：本文旨在解决视频物体分割任务中，现有方法使用单一标记导致的多物体定位不精确的问题。单标记策略在处理复杂场景时，无法提供足够的细粒度信息。

核心思路：MoVISA的核心思路是引入多个分割标记（如SEG0和SEG1），以便在不同帧中分别表示同一物体。这种设计使得语言提示与时空掩码预测之间的对齐更加精细，从而提升了分割的准确性和可解释性。

技术框架：MoVISA的整体架构包括多个模块，首先是输入的多模态数据处理，然后是多标记的生成与分配，最后通过深度学习网络进行时空掩码的预测与优化。各个模块之间通过有效的连接与反馈机制进行协同工作。

关键创新：MoVISA的主要创新在于使用多标记推理方法，显著区别于传统的单标记策略。这种方法不仅提高了分割精度，还增强了模型的可解释性，使得每个标记可以独立地对应于不同的物体。

关键设计：在模型设计中，关键参数设置包括标记数量、损失函数的选择（如交叉熵损失与IoU损失的结合），以及网络结构的深度与宽度调整，以适应多标记的处理需求。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在MeViS基准测试中，MoVISA模型实现了13.2%的J和F提升，而在ReVOS上则提升了8.4%。这些结果表明，MoVISA在复杂视频场景中的分割性能显著优于现有方法，展示了其在实际应用中的潜力。

🎯 应用场景

该研究在视频监控、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过提升视频物体分割的精度，MoVISA能够为实时物体检测与跟踪提供更可靠的支持，进而推动相关技术的发展与应用。

📄 摘要（原文）

Recent advances in video object segmentation with Multimodal Large Language Model (MLLM) reasoning have demonstrated the effectiveness of using a single textual token, such as SEG, to predict segmentation masks across images and videos. However, we observe that this single-token strategy lacks the granularity required to precisely localize multiple objects across time in video segmentation tasks. To address this limitation, we develop Multi-Token Reasoning for Video Object Segmentation, or MoVISA. MoVISA uses multiple segmentation tokens, such as SEG0 and SEG1, to represent an object across different frames. This design enables more fine-grained alignment between language prompts and spatio-temporal mask predictions, improving both performance and interpretability. On the challenging MeViS, DAVIS17, ReVOS, and Ref-Youtube-VOS benchmarks, our model achieves a 13.2 percent J and F improvement on MeViS and an 8.4 percent J and F improvement on ReVOS. Code and models will be released.