DisCo: Towards Distinct and Coherent Visual Encapsulation in Video MLLMs
作者: Jiahe Zhao, Rongkun Zheng, Yi Wang, Helin Wang, Hengshuang Zhao
分类: cs.CV
发布日期: 2025-07-14
备注: ICCV 2025
🔗 代码/项目: GITHUB
💡 一句话要点
提出DisCo，提升视频MLLM中视觉封装的语义区分性和时间一致性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频多模态大语言模型 视觉封装 语义区分性 时间一致性 视觉概念判别器 时间焦点校准器 视频理解 多模态学习
📋 核心要点
- 现有视频MLLM的视觉封装方法（如线性投影）在处理视频时存在语义区分性不足和时间一致性差的问题。
- DisCo的核心思想是设计一种新的视觉封装方法，利用视觉概念判别器（VCD）和时间焦点校准器（TFC）来提升视觉tokens的质量。
- 实验表明，DisCo在多个视频理解基准测试中显著优于现有方法，并提高了token效率，证明了其有效性。
📝 摘要（中文）
在视频多模态大语言模型（video MLLMs）中，视觉封装过程在将视频内容转换为LLM输入的可表示tokens方面起着关键作用。虽然线性投影器被广泛用于封装，但当应用于视频时，它们会引入语义不明确性和时间不连贯性。相反，重采样器的结构在应对这些挑战方面显示出希望，但有效的解决方案仍未被探索。受重采样器结构的启发，我们提出DisCo，一种新颖的视觉封装方法，旨在为视频MLLM生成语义上区分且时间上一致的视觉tokens。DisCo集成了两个关键组件：（1）视觉概念判别器（VCD）模块，通过将视觉tokens与视频中的判别性概念成对关联，为视觉tokens分配独特的语义。（2）时间焦点校准器（TFC）模块，确保视觉tokens在每个视频帧中对视频元素保持一致的时间焦点。通过在多个视频MLLM框架上的大量实验，我们证明DisCo在各种视频理解基准测试中显著优于先前的最先进方法，同时由于语义不明确性的降低，实现了更高的token效率。
🔬 方法详解
问题定义：视频多模态大语言模型需要将视频信息编码成tokens输入LLM进行处理。现有的线性投影方法在视频视觉封装过程中，容易造成语义混淆和时间不连贯，导致模型性能下降。如何提升视觉tokens的语义区分性和时间一致性是本文要解决的关键问题。
核心思路：DisCo的核心思路是借鉴重采样器的结构，通过引入视觉概念判别器（VCD）和时间焦点校准器（TFC）两个模块，分别解决语义区分性和时间一致性问题。VCD模块通过将视觉tokens与视频中的判别性概念关联，赋予每个token独特的语义；TFC模块则确保tokens在不同帧之间关注视频中相同或相似的元素，保持时间上的连贯性。
技术框架：DisCo的整体框架包含两个主要模块：VCD和TFC。首先，视频帧通过视觉编码器提取特征。然后，VCD模块将视觉特征与预定义的视觉概念进行匹配，为每个视觉token分配一个概念标签。接着，TFC模块利用注意力机制，对不同帧的视觉tokens进行校准，确保它们在时间上保持一致的焦点。最后，经过封装的视觉tokens被输入到LLM中进行后续处理。
关键创新：DisCo的关键创新在于其VCD和TFC模块的设计。VCD模块通过显式地将视觉tokens与概念关联，有效提升了tokens的语义区分性，避免了语义混淆。TFC模块则通过注意力机制，实现了对视觉tokens时间焦点的校准，保证了时间一致性。与传统的线性投影方法相比，DisCo能够生成更具代表性和连贯性的视觉tokens。
关键设计：VCD模块的关键设计在于概念选择和匹配策略。论文可能采用了预训练的概念词典，并通过计算视觉特征与概念向量之间的相似度来进行匹配。TFC模块的关键设计在于注意力机制的实现方式，可能采用了自注意力或交叉注意力机制，以实现对不同帧视觉tokens的有效校准。具体的损失函数设计可能包括对比损失或交叉熵损失，以鼓励VCD模块学习到更具区分性的概念表示，并促使TFC模块实现更准确的时间焦点校准。
🖼️ 关键图片
📊 实验亮点
DisCo在多个视频理解基准测试中取得了显著的性能提升，例如在XXX数据集上，DisCo的准确率比现有最佳方法提高了X%。此外，DisCo还实现了更高的token效率，这意味着在相同的性能下，DisCo可以使用更少的tokens，从而降低计算成本。
🎯 应用场景
DisCo的潜在应用领域包括视频问答、视频摘要、视频内容理解和视频生成等。通过提升视频MLLM的性能，DisCo可以帮助模型更好地理解视频内容，从而实现更智能的视频分析和处理。未来，DisCo可以被应用于各种需要理解视频内容的场景，例如智能监控、自动驾驶和虚拟现实等。
📄 摘要（原文）
In video Multimodal Large Language Models (video MLLMs), the visual encapsulation process plays a pivotal role in converting video contents into representative tokens for LLM input. While linear projectors are widely employed for encapsulation, they introduce semantic indistinctness and temporal incoherence when applied to videos. Conversely, the structure of resamplers shows promise in tackling these challenges, but an effective solution remains unexplored. Drawing inspiration from resampler structures, we introduce DisCo, a novel visual encapsulation method designed to yield semantically distinct and temporally coherent visual tokens for video MLLMs. DisCo integrates two key components: (1) A Visual Concept Discriminator (VCD) module, assigning unique semantics for visual tokens by associating them in pair with discriminative concepts in the video. (2) A Temporal Focus Calibrator (TFC) module, ensuring consistent temporal focus of visual tokens to video elements across every video frame. Through extensive experiments on multiple video MLLM frameworks, we demonstrate that DisCo remarkably outperforms previous state-of-the-art methods across a variety of video understanding benchmarks, while also achieving higher token efficiency thanks to the reduction of semantic indistinctness. The code: https://github.com/ZJHTerry18/DisCo.