DSE-VTG: Dual-Side Enhancement for Training-Free Video Temporal Grounding
作者: Zhuo Cao, Bingqing Zhang, Sen Wang, Xue Li
分类: cs.CV
发布日期: 2026-09-08
备注: 9 pages, 4 figures
💡 一句话要点
提出DSE-VTG以解决视频时间定位中的信息瓶颈问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频时间定位 无训练方法 多模态融合 视觉编码 文本适应
📋 核心要点
- 现有的训练方法在视频时间定位中面临高昂的注释成本和分布转移带来的脆弱性。
- DSE-VTG通过多尺度相似性融合和查询级测试时适应，提出了一种无需训练的双侧增强框架。
- 在Charades-STA数据集上，DSE-VTG的mIoU比最强的无训练方法提高了5.61个百分点，表现优异。
📝 摘要（中文）
文本引导的视频时间定位（VTG）旨在根据文本查询定位未修剪视频中的相关片段，但收集密集的时间注释和训练特定任务模型仍然成本高昂且在分布转移下表现脆弱。近期的无训练VTG方法通过直接匹配预训练的视觉-语言表示来缓解这一问题，但仍面临两个基本的信息瓶颈：逐帧视觉编码忽视了时间动态，而固定的查询嵌入无法解决查询歧义。为了解决这些问题，本文提出了DSE-VTG，一个双侧增强框架，无需任何特定任务的训练。通过多尺度相似性融合（MSF）和查询级测试时适应（Q-TTA），DSE-VTG在多个基准测试上实现了最先进的性能。
🔬 方法详解
问题定义：本文旨在解决视频时间定位中的信息瓶颈问题，现有方法在逐帧视觉编码和固定查询嵌入方面存在不足，导致无法有效捕捉时间动态和处理查询歧义。
核心思路：DSE-VTG通过引入多尺度相似性融合和查询级测试时适应，优化了视觉和文本信息的结合，避免了任务特定的训练过程。
技术框架：该框架包括两个主要模块：视觉侧的多尺度相似性融合（MSF），用于生成统一的时间感知相似性配置；文本侧的查询级测试时适应（Q-TTA），用于在测试时动态调整查询嵌入。
关键创新：DSE-VTG的核心创新在于其双侧增强机制，能够同时处理视觉和文本信息，显著提升了无训练方法的性能，区别于传统方法的单一处理方式。
关键设计：在视觉侧，MSF结合了帧级和片段级的相似性；在文本侧，Q-TTA通过轻量级的加性偏移优化查询嵌入，避免了对主干网络的微调和外部大语言模型的调用。
🖼️ 关键图片
📊 实验亮点
DSE-VTG在Charades-STA数据集上实现了5.61个百分点的mIoU提升，达到最先进的性能；在Charades-CG Novel-Word数据集上，DSE-VTG在分布转移下的mIoU为50.86，超越了最强的监督基线2.76个百分点，显示出其强大的适应能力。
🎯 应用场景
该研究在视频理解、智能监控和人机交互等领域具有广泛的应用潜力。通过提高视频时间定位的准确性，DSE-VTG可以帮助实现更智能的内容检索和分析，推动相关技术的发展和应用。
📄 摘要（原文）
Text-guided Video Temporal Grounding (VTG) aims to localize the relevant segments in an untrimmed video based on text queries, yet collecting dense temporal annotations and training task-specific models remain costly and brittle under distribution shift. Recent training-free VTG approaches mitigate this issue by directly matching pretrained vision-language representations, but they still face two fundamental information bottlenecks: frame-wise visual encoding overlooks temporal dynamics, while fixed query embeddings cannot resolve query ambiguity. To address these issues, we propose DSE-VTG, a \underline{D}ual-\underline{S}ide \underline{E}nhancement framework that addresses both without any task-specific training. On the visual side, Multi-scale Similarity Fusion (MSF) combines frame- and clip-level similarities into a unified, temporally aware similarity profile. On the textual side, Query-level Test-Time Adaptation (Q-TTA) optimizes a lightweight additive offset to adapt the query embedding to the video at test time, without finetuning the backbone or calling external large language models. Extensive experiments on three standard and two OOD benchmarks show that DSE-VTG achieves state-of-the-art performance among training-free methods. On Charades-STA, it improves mIoU over the strongest prior training-free method by 5.61 points. Under distribution shift, DSE-VTG reaches 50.86 mIoU on Charades-CG Novel-Word, surpassing the strongest supervised baseline by 2.76 mIoU. Our code will be released upon acceptance.