Beyond Training: Dynamic Token Merging for Zero-Shot Video Understanding

📄 arXiv: 2411.14401v2 📥 PDF

作者: Yiming Zhang, Zhuokai Zhao, Zhaorun Chen, Zenghui Ding, Xianjun Yang, Yining Sun

分类: cs.CV, cs.LG

发布日期: 2024-11-21 (更新: 2025-03-24)

备注: Code is available at https://github.com/Jam1ezhang/DYTO

💡 一句话要点

提出DYTO：一种动态Token融合框架，用于零样本视频理解。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本学习 视频理解 动态Token融合 多模态大语言模型 分层帧选择

📋 核心要点

  1. 现有视频理解方法依赖微调，成本高昂，而无训练方法在复杂场景下鲁棒性不足。
  2. DYTO通过动态Token融合，自适应优化Token效率，同时保留关键场景细节。
  3. 实验表明，DYTO在多个基准测试中优于微调和无训练方法，达到新的SOTA。

📝 摘要（中文）

本文提出了一种名为DYTO的动态Token融合框架，用于零样本视频理解。尽管多模态大语言模型(MLLM)在视频理解方面取得了进展，但在零样本视频任务中实现高保真度仍然具有挑战性。传统方法依赖于微调来捕获细致的时空细节，导致大量的数据和计算成本。相比之下，无训练方法虽然高效，但在复杂视频内容中保持上下文丰富的特征方面缺乏鲁棒性。DYTO集成了分层帧选择和二分Token融合策略，动态地聚类关键帧并选择性地压缩Token序列，在计算效率和语义丰富性之间取得平衡。在多个基准测试上的实验结果表明，DYTO的有效性优于微调和无训练方法，为零样本视频理解设定了新的技术水平。

🔬 方法详解

问题定义：论文旨在解决零样本视频理解中，现有方法在效率和性能之间难以平衡的问题。微调方法需要大量数据和计算资源，而无训练方法在处理复杂视频时，难以保持上下文信息的完整性，导致性能下降。

核心思路：DYTO的核心思路是通过动态地合并视频帧中的Token，在减少计算量的同时，尽可能保留视频的关键信息。通过分层帧选择和二分Token融合，自适应地调整Token的数量和重要性，从而在计算效率和语义表达能力之间取得平衡。

技术框架：DYTO框架主要包含两个阶段：分层帧选择和二分Token融合。首先，分层帧选择模块从原始视频中选取最具代表性的关键帧，减少后续处理的数据量。然后，二分Token融合模块对选定的帧进行Token化，并通过二分图匹配算法，将相似的Token合并，从而压缩Token序列。最终，压缩后的Token序列被输入到多模态大语言模型中进行视频理解。

关键创新：DYTO的关键创新在于其动态Token融合策略。与静态Token压缩方法不同，DYTO能够根据视频内容自适应地调整Token合并的粒度，从而更好地保留视频的关键信息。此外，DYTO的分层帧选择模块也能够有效地减少冗余帧的干扰，提高视频理解的准确性。

关键设计：DYTO的分层帧选择模块采用了一种基于聚类的帧选择算法，将视频帧按照视觉相似度进行聚类，然后从每个簇中选择最具代表性的帧。二分Token融合模块使用余弦相似度来衡量Token之间的相似性，并使用匈牙利算法来求解二分图匹配问题。损失函数方面，论文可能使用了对比学习损失或交叉熵损失来优化Token融合的质量（具体损失函数细节未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DYTO在多个零样本视频理解基准测试中取得了显著的性能提升，超越了现有的微调和无训练方法，并达到了新的SOTA。具体性能数据（例如在某个数据集上提升了百分之多少）在摘要中未明确给出，但强调了其优越性。

🎯 应用场景

DYTO框架可应用于各种零样本视频理解任务，如视频问答、视频描述生成、视频分类等。该研究成果有助于降低视频理解的计算成本，提高视频理解的效率和准确性，为智能监控、自动驾驶、视频搜索等领域提供更强大的技术支持。未来，该方法有望扩展到更复杂的视频场景和任务中。

📄 摘要（原文）

Recent advancements in multimodal large language models (MLLMs) have opened new avenues for video understanding. However, achieving high fidelity in zero-shot video tasks remains challenging. Traditional video processing methods rely heavily on fine-tuning to capture nuanced spatial-temporal details, which incurs significant data and computation costs. In contrast, training-free approaches, though efficient, often lack robustness in preserving context-rich features across complex video content. To this end, we propose DYTO, a novel dynamic token merging framework for zero-shot video understanding that adaptively optimizes token efficiency while preserving crucial scene details. DYTO integrates a hierarchical frame selection and a bipartite token merging strategy to dynamically cluster key frames and selectively compress token sequences, striking a balance between computational efficiency with semantic richness. Extensive experiments across multiple benchmarks demonstrate the effectiveness of DYTO, achieving superior performance compared to both fine-tuned and training-free methods and setting a new state-of-the-art for zero-shot video understanding.