Stay in your Lane: Role Specific Queries with Overlap Suppression Loss for Dense Video Captioning
作者: Seung Hyup Baek, Jimin Lee, Hyeongkeun Lee, Jae Won Cho
分类: cs.CV
发布日期: 2026-03-12
备注: Accepted to CVPR 2026
💡 一句话要点
提出基于角色特定查询和重叠抑制损失的密集视频字幕方法，提升定位精度和描述质量。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 密集视频字幕 角色特定查询 重叠抑制损失 视频理解 事件定位 自然语言生成 多模态学习
📋 核心要点
- 现有基于查询的密集视频字幕框架依赖共享查询，导致定位和字幕任务间存在显著的多任务干扰，以及定位结果的时间冗余。
- 本文提出角色特定的查询，将定位和字幕生成分离，并通过对比对齐保证语义一致性，同时设计重叠抑制机制减少时间冗余。
- 在YouCook2和ActivityNet Captions数据集上的实验表明，该方法能有效提升密集视频字幕的性能，实现更精确的事件定位。
📝 摘要（中文）
本文提出了一种用于密集视频字幕（DVC）的新方法，该方法利用角色特定的查询，将定位和字幕生成分离成独立的组件，从而解决现有方法中共享查询导致的定位和字幕任务之间的多任务干扰以及定位中的时间冗余问题。通过对比对齐来保证对应输出之间的语义一致性。此外，设计了一种新颖的抑制机制，惩罚查询之间的相互时间重叠，从而监督模型学习不同的、非重叠的事件区域，以实现更精确的定位。还引入了一个轻量级模块，用于捕获核心事件概念，以进一步增强字幕中的语义丰富性。在YouCook2和ActivityNet Captions等主要DVC基准数据集上的大量实验证明了该方法的有效性。
🔬 方法详解
问题定义：密集视频字幕（DVC）旨在对视频中的多个事件进行时间定位，并用自然语言描述这些事件。现有基于查询的方法通常使用共享查询来同时处理定位和字幕生成，这导致两个任务之间存在显著的多任务干扰，并且在时间定位上存在冗余，即多个查询可能对应于同一事件片段。
核心思路：本文的核心思路是使用角色特定的查询，将定位和字幕生成任务解耦。通过为每个任务分配独立的查询，可以避免任务之间的干扰，使每个任务都能专注于学习其特定的角色。此外，通过引入重叠抑制损失，可以减少时间定位上的冗余，使模型能够学习到不同的、非重叠的事件区域。
技术框架：该方法的技术框架主要包括以下几个模块：1) 视频特征提取模块：用于提取视频的视觉特征。2) 角色特定查询模块：生成用于定位和字幕生成的独立查询。3) 定位模块：利用定位查询预测事件的时间边界。4) 字幕生成模块：利用字幕查询生成事件的自然语言描述。5) 对比对齐模块：用于保证定位和字幕生成结果之间的语义一致性。6) 重叠抑制模块：用于减少时间定位上的冗余。
关键创新：该方法最重要的技术创新点在于角色特定的查询和重叠抑制损失。角色特定的查询通过解耦定位和字幕生成任务，避免了任务之间的干扰。重叠抑制损失通过惩罚查询之间的相互时间重叠，减少了时间定位上的冗余。此外，引入轻量级模块捕获核心事件概念，增强字幕语义丰富性也是一个创新点。
关键设计：在角色特定查询模块中，分别初始化一组用于定位和一组用于字幕生成的查询向量。对比对齐模块使用对比学习损失，鼓励对应的定位和字幕生成结果在语义空间中彼此靠近。重叠抑制损失计算查询预测的时间片段之间的IoU（Intersection over Union），并惩罚IoU大于阈值的查询对。轻量级概念捕获模块可能包含注意力机制或类似结构，以提取视频帧中的关键概念。
🖼️ 关键图片
📊 实验亮点
该方法在YouCook2和ActivityNet Captions数据集上进行了广泛的实验，结果表明该方法能够显著提升密集视频字幕的性能。具体来说，在ActivityNet Captions数据集上，该方法在多个指标上都优于现有的方法，例如在mAP@IoU=0.5指标上，该方法取得了显著的提升。实验结果验证了角色特定查询和重叠抑制损失的有效性。
🎯 应用场景
该研究成果可应用于视频内容理解、智能视频监控、视频检索、视频编辑等领域。例如，在智能视频监控中，可以自动识别和描述监控视频中的异常事件。在视频检索中，可以根据用户输入的自然语言查询，快速定位到视频中相关的事件片段。未来，该技术可以进一步扩展到更复杂的视频场景，例如自动生成电影预告片、体育赛事集锦等。
📄 摘要（原文）
Dense Video Captioning (DVC) is a challenging multimodal task that involves temporally localizing multiple events within a video and describing them with natural language. While query-based frameworks enable the simultaneous, end-to-end processing of localization and captioning, their reliance on shared queries often leads to significant multi-task interference between the two tasks, as well as temporal redundancy in localization. In this paper, we propose utilizing role-specific queries that separate localization and captioning into independent components, allowing each to exclusively learn its role. We then employ contrastive alignment to enforce semantic consistency between the corresponding outputs, ensuring coherent behavior across the separated queries. Furthermore, we design a novel suppression mechanism in which mutual temporal overlaps across queries are penalized to tackle temporal redundancy, supervising the model to learn distinct, non-overlapping event regions for more precise localization. Additionally, we introduce a lightweight module that captures core event concepts to further enhance semantic richness in captions through concept-level representations. We demonstrate the effectiveness of our method through extensive experiments on major DVC benchmarks YouCook2 and ActivityNet Captions.