CapMap-MS-TTA: 3rd Place Solution for the MUMU Track of the 8th LSVOS Challenge at ECCV 2026

📄 arXiv: 2609.18206v1 📥 PDF

作者: Chengfeng Qiu, Kaifeng Wei

分类: cs.CV, cs.AI

发布日期: 2026-09-16

💡 一句话要点

提出CapMap-MS-TTA以解决多模态视频对象分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态视频分割 开放词汇检测 字幕生成 测试时间增强 无训练模型

📋 核心要点

  1. 现有方法在多模态视频对象分割任务中面临资源限制和性能提升的挑战。
  2. 论文提出的CapMap-MS-TTA通过结合关键词映射和多尺度翻转增强，提供了一种无训练的解决方案。
  3. 实验结果显示，该方法在不进行微调的情况下显著提升了性能，达到了16.4815的得分，排名第三。

📝 摘要（中文）

第八届大型视频对象分割（LSVOS）挑战赛的MUMU赛道要求在严格资源限制下，使用单一的多模态模型联合解决图像标记、开放词汇对象检测和英文字幕生成。我们提出了CapMap-MS-TTA，这是一种基于Microsoft Florence-2-base的无训练提交方案，结合了字幕关键词映射和多尺度翻转测试时间增强。该方法在不进行微调的情况下，将我们重现的Florence-2基线从15.16提升至最佳公共得分16.4815，并在最终MUMU排行榜中排名第三。

🔬 方法详解

问题定义：本论文旨在解决在资源限制下的多模态视频对象分割任务，现有方法往往无法在参数和内存限制内实现高效的性能提升。

核心思路：CapMap-MS-TTA的核心思路是通过关键词映射和多尺度翻转增强来提升模型的性能，同时避免了传统的微调过程，从而节省了计算资源。

技术框架：该方法包括三个主要模块：任务A的详细字幕映射，任务B的开放检测，以及任务C的字幕生成。每个模块都通过特定的技术手段进行优化，以适应资源限制。

关键创新：最重要的创新在于结合了字幕关键词映射与多尺度翻转测试时间增强，形成了一种新的无训练提交方案，这与现有方法的微调策略形成了鲜明对比。

关键设计：在设计中，采用了扩展的关键词词典进行全词匹配，并引入轻量级的提示扩展阶段。此外，任务B中使用了标签感知的非最大抑制（NMS）来进一步提升检测精度。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，CapMap-MS-TTA在不进行微调的情况下，将Florence-2基线得分从15.16提升至16.4815，显示出显著的性能提升，并在MUMU排行榜中获得第三名的优异成绩。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、智能家居等场景，能够有效提升多模态信息处理的效率和准确性。未来，随着技术的进一步发展，该方法可能会在更广泛的多媒体理解任务中发挥重要作用。

📄 摘要（原文）

The MUMU track of the 8th Large-scale Video Object Segmentation (LSVOS) Challenge requires a single unified multimodal model to jointly solve image tagging (Task A), open-vocabulary object detection (Task B), and English captioning (Task C) under strict resource constraints (<=0.5B parameters and <=8 GB peak GPU memory). We present CapMap-MS-TTA, a training-free submission built on Microsoft Florence-2-base (~231M parameters), combining caption keyword mapping with multi-scale flip test-time augmentation. Task C uses the native pathway with length/token sanitization. Task A maps the same detailed caption into the official quality/scene/event vocabularies via an expanded keyword lexicon with whole-word matching and a lightweight expand-hints stage. Task B runs Florence-2 open detection () with multi-scale and horizontal-flip test-time augmentation (TTA), followed by label-aware non-maximum suppression (NMS). Without fine-tuning, the system improves our reproduced Florence-2 baseline from 15.16 to a best public score of 16.4815, and ranks 3rd on the final MUMU leaderboard.