TSMD: Temporal-Stream Modality Dropout for Robust Video Highlight Detection

📄 arXiv: 2609.39051v1 📥 PDF

作者: Bo-Yuan Cheng, Kuan-Yu Chen, Po-Han Huang, Jeng-Lin Li, Jian-Jiun Ding

分类: cs.CV

发布日期: 2026-09-30

备注: 5 pages, 3 figures, 3 tables

💡 一句话要点

提出TSMD以解决视频高亮检测中的模态缺失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频高亮检测 多模态学习 鲁棒性 损失函数设计 深度学习

📋 核心要点

  1. 现有多模态视频高亮检测方法假设所有模态数据持续可用，但实际应用中常出现模态缺失问题。
  2. 本文提出时间流模态丢失（TSMD），通过模拟缺失情况并结合多种损失函数来增强模型鲁棒性。
  3. 在MoSu和Mr. HiSum数据集上，TSMD-Temporal在50%独立时间移除下，mAP@15提升了7.06和3.41个百分点。

📝 摘要（中文）

现有的多模态视频高亮检测器通常假设视觉、音频和文本流是持续可用的。然而，在实际应用中，输入可能会遭遇局部帧缺失或完整流失效的问题。本文将这一鲁棒性挑战分为两个维度：时间缺失性和流级缺失性。我们发现均方误差损失与评估指标及高亮的峰值驱动特性不匹配。因此，提出了时间流模态丢失（TSMD），结合结构化缺失模拟与包括逐点均方误差、每视频皮尔逊相关性和峰值导向的RankNet损失的联合目标。实验结果表明，TSMD在不同缺失条件下均表现出显著的性能提升。

🔬 方法详解

问题定义：本文旨在解决多模态视频高亮检测中由于模态缺失导致的鲁棒性不足问题。现有方法通常假设所有模态数据是连续可用的，但在实际应用中，模态缺失会严重影响检测效果。

核心思路：提出的TSMD方法通过模拟时间缺失和流级缺失，结合多种损失函数（包括逐点均方误差、皮尔逊相关性和RankNet损失），以提高模型在缺失条件下的鲁棒性。

技术框架：TSMD的整体架构包括三个主要模块：时间缺失模拟、流级缺失模拟和联合损失计算。通过这些模块，模型能够在不同的缺失场景下进行有效训练和评估。

关键创新：TSMD的核心创新在于其结合了结构化缺失模拟与多种损失函数的联合优化策略，这与现有方法单一依赖均方误差损失的方式有本质区别。

关键设计：在损失函数设计上，TSMD引入了逐点均方误差、每视频的皮尔逊相关性和峰值导向的RankNet损失，确保模型在高亮检测时能够更好地对齐评估指标。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，TSMD-Temporal在MoSu和Mr. HiSum数据集上，mAP@15分别提升了7.06和3.41个百分点，相较于基线TripleSumm表现出显著的性能提升。TSMD-Stream在完整流失效情况下表现最佳，而TSMD-Mix则在多种条件下保持了良好的性能，展现出其综合优势。

🎯 应用场景

该研究的潜在应用领域包括视频监控、体育赛事回放、社交媒体内容生成等。通过提高视频高亮检测的鲁棒性，能够更好地满足用户对关键时刻的自动识别需求，提升用户体验。未来，TSMD方法还可扩展到其他多模态学习任务中，具有广泛的应用前景。

📄 摘要（原文）

Existing multimodal video highlight detectors typically assume that visual, audio, and textual streams are continuously available. In practice, however, inputs may suffer from localized frame missingness or complete-stream outage. We formulate this robustness challenge along two dimensions: temporal missingness, where frames are missing independently in each modality, and stream-level missingness, where one modality is unavailable throughout a video. Moreover, we find that the mean squared error (MSE) loss is misaligned with both the evaluation metrics and the peak-driven nature of highlights. Therefore, we propose Temporal-Stream Modality Dropout (TSMD), which combines structured missingness simulation with a joint objective comprising pointwise MSE, per-video Pearson correlation, and peak-oriented RankNet loss terms. TSMD has three variants: temporal, stream-level, and mixed dropout. On the MoSu and Mr. HiSum datasets, TSMD-Temporal improves mAP@15 by 7.06 and 3.41 points over TripleSumm under 50% independent temporal removal, whereas TSMD-Stream performs the best under complete-stream removal. TSMD-Mix retains most of these complementary benefits and ranks the best or the second-best across the evaluated temporal and stream-level conditions.