FVOS for MOSE Track of 4th PVUW Challenge: 3rd Place Solution

📄 arXiv: 2504.09507v1 📥 PDF

作者: Mengjiao Wang, Junpei Zhang, Xu Liu, Yuting Yang, Mengru Ma

分类: cs.CV

发布日期: 2025-04-13

备注: 5 pages, 3 figures

💡 一句话要点

提出FVOS以解决复杂场景下视频目标分割问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 视频目标分割 时空记忆网络 形态学处理 定制训练 多尺度融合

📋 核心要点

  1. 现有视频目标分割方法在复杂场景中表现不佳，难以准确分割相邻物体。
  2. 提出细化视频目标分割（FVOS）方法，通过定制训练和形态学后处理策略优化分割效果。
  3. 在MOSE Track的验证和测试阶段，方法分别取得76.81%和83.92%的J&F分数，表现优异。

📝 摘要（中文）

视频目标分割（VOS）是计算机视觉中的一项基础且具有挑战性的任务，广泛应用于多个领域。现有方法多依赖时空记忆网络提取帧级特征，虽然在常用数据集上取得了良好效果，但在复杂的真实场景中表现不佳。本文提出了细化视频目标分割（FVOS）方法，通过针对特定数据集的定制训练优化现有方法。此外，本文引入形态学后处理策略，解决单模型预测中相邻物体之间过大间隙的问题。最后，采用基于投票的融合方法对多尺度分割结果进行处理，生成最终输出。在2025年第4届PVUW挑战MOSE Track中，我们的方法在验证和测试阶段分别取得了76.81%和83.92%的J&F分数，最终获得第三名。

🔬 方法详解

问题定义：本文旨在解决视频目标分割在复杂场景下的准确性问题。现有方法在处理相邻物体时，常常出现分割不清晰或间隙过大的情况。

核心思路：提出细化视频目标分割（FVOS）方法，通过针对特定数据集的定制训练来优化现有的分割方法，并结合形态学后处理来改善分割结果的连贯性。

技术框架：整体方法包括三个主要模块：首先是基于时空记忆网络的特征提取，其次是定制训练以适应特定数据集，最后是形态学后处理和投票融合策略以生成最终的分割结果。

关键创新：最重要的创新在于结合了定制训练和形态学后处理策略，这与现有方法主要依赖于单一的时空特征提取不同，显著提升了复杂场景下的分割效果。

关键设计：在训练过程中，采用了特定的损失函数来优化分割精度，并在形态学后处理阶段设计了参数以有效填补相邻物体之间的间隙，确保分割结果的连贯性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在2025年第4届PVUW挑战MOSE Track中，我们的方法在验证阶段取得了76.81%的J&F分数，在测试阶段更是达到了83.92%，相较于基线方法有显著提升，最终获得第三名的优异成绩。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、智能交通系统等，能够在复杂环境中实现高效的目标分割，提升系统的智能化水平。未来，该方法有望推广到更多实际应用中，推动计算机视觉技术的发展。

📄 摘要（原文）

Video Object Segmentation (VOS) is one of the most fundamental and challenging tasks in computer vision and has a wide range of applications. Most existing methods rely on spatiotemporal memory networks to extract frame-level features and have achieved promising results on commonly used datasets. However, these methods often struggle in more complex real-world scenarios. This paper addresses this issue, aiming to achieve accurate segmentation of video objects in challenging scenes. We propose fine-tuning VOS (FVOS), optimizing existing methods for specific datasets through tailored training. Additionally, we introduce a morphological post-processing strategy to address the issue of excessively large gaps between adjacent objects in single-model predictions. Finally, we apply a voting-based fusion method on multi-scale segmentation results to generate the final output. Our approach achieves J&F scores of 76.81% and 83.92% during the validation and testing stages, respectively, securing third place overall in the MOSE Track of the 4th PVUW challenge 2025.