LLaVA-MLB: Mitigating and Leveraging Attention Bias for Training-Free Video LLMs

📄 arXiv: 2503.11205v1 📥 PDF

作者: Leqi Shen, Tao He, Guoqiang Gong, Fan Yang, Yifeng Zhang, Pengzhang Liu, Sicheng Zhao, Guiguang Ding

分类: cs.CV

发布日期: 2025-03-14

💡 一句话要点

LLaVA-MLB：缓解并利用注意力偏差，实现免训练视频LLM

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 大语言模型 注意力机制 免训练学习 时空信息 注意力偏差 视频摘要 多模态学习

📋 核心要点

  1. 现有免训练视频LLM受限于图像LLM的token数量，难以有效保留视频中的关键时空信息。
  2. LLaVA-MLB通过两阶段token选择策略，先压缩后扩展，并针对注意力偏差进行优化。
  3. 实验结果表明，该方法在多个视频理解基准测试中，性能超越现有技术，兼顾效率与精度。

📝 摘要（中文）

本文提出一种免训练的视频大语言模型(LLM)方法，旨在利用预训练的图像LLM处理视频内容，无需额外训练。该方法面临的关键挑战是，在图像LLM的token限制下，难以保留必要的视觉和时间信息。为此，我们提出一种两阶段方法，基于LLM的注意力分数选择与查询相关的token：先压缩视频序列，然后扩展序列。然而，在压缩阶段，图像LLM通常表现出位置注意力偏差，过度关注后期的帧，导致早期帧的信息未被充分利用。为了缓解序列压缩过程中的这种注意力偏差，我们提出了网格化注意力池化，以保留时空结构。此外，我们引入了视觉摘要尾部，以有效地利用这种偏差，从而促进序列扩展期间的整体视频理解。通过这种方式，我们的方法有效地缓解并利用注意力偏差(LLaVA-MLB)，使冻结的图像LLM能够进行详细的视频理解。在多个基准测试上的实验表明，我们的方法优于最先进的方法，在效率和准确性方面都取得了优异的性能。我们的代码将会开源。

🔬 方法详解

问题定义：现有的免训练视频LLM方法，依赖于预训练的图像LLM处理视频，但图像LLM的token数量限制，使得视频信息的压缩成为瓶颈。尤其是在长视频中，如何选择最具代表性的帧，并避免信息丢失，是一个关键问题。此外，图像LLM在处理视频序列时，存在对后期帧的注意力偏好，导致早期帧的信息利用不足，影响整体理解。

核心思路：LLaVA-MLB的核心思路是，通过两阶段的token选择策略，即先压缩视频序列，再扩展序列，来解决token数量限制的问题。同时，针对图像LLM的注意力偏差，分别在压缩和扩展阶段进行优化：在压缩阶段，缓解注意力偏差，保留更多早期帧的信息；在扩展阶段，利用注意力偏差，提取视频的整体摘要信息。

技术框架：LLaVA-MLB包含两个主要阶段：视频序列压缩和序列扩展。在压缩阶段，使用Gridded Attention Pooling (GAP)缓解注意力偏差，选择更具代表性的帧。在扩展阶段，使用Visual Summarization Tail (VST)利用注意力偏差，生成视频的整体摘要。整个流程利用预训练的图像LLM，无需额外的训练。

关键创新：LLaVA-MLB的关键创新在于，针对图像LLM在视频处理中的注意力偏差，提出了缓解和利用相结合的策略。Gridded Attention Pooling通过网格化的方式，平衡了不同位置帧的注意力权重，有效缓解了注意力偏差。Visual Summarization Tail则利用注意力偏差，提取视频的全局信息，用于后续的视频理解。

关键设计：Gridded Attention Pooling将视频帧划分为网格，并计算每个网格的注意力权重，从而避免过度关注后期帧。Visual Summarization Tail通过一个可学习的线性层，将图像LLM的注意力输出转换为视频摘要向量，用于指导序列扩展。具体参数设置和损失函数细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LLaVA-MLB在多个视频理解基准测试中取得了显著的性能提升，超越了现有最先进的方法。具体性能数据和对比基线在论文中进行了详细展示（未知）。该方法在效率和准确性方面都表现出色，证明了缓解和利用注意力偏差策略的有效性。

🎯 应用场景

LLaVA-MLB可应用于视频内容理解、视频问答、视频摘要生成等领域。该方法无需额外训练，可以直接利用现有的预训练图像LLM，降低了部署成本，加速了视频智能应用的发展。未来，该方法有望应用于智能监控、自动驾驶、在线教育等场景，提升视频数据的利用效率。

📄 摘要（原文）

Training-free video large language models (LLMs) leverage pretrained Image LLMs to process video content without the need for further training. A key challenge in such approaches is the difficulty of retaining essential visual and temporal information, constrained by the token limits in Image LLMs. To address this, we propose a two-stage method for selecting query-relevant tokens based on the LLM attention scores: compressing the video sequence and then expanding the sequence. However, during the compression stage, Image LLMs often exhibit a positional attention bias in video sequences, where attention is overly concentrated on later frames, causing early-frame information to be underutilized. To alleviate this attention bias during sequence compression, we propose Gridded Attention Pooling for preserving spatiotemporal structure. Additionally, we introduce Visual Summarization Tail to effectively utilize this bias, facilitating overall video understanding during sequence expansion. In this way, our method effectively Mitigates and Leverages attention Bias (LLaVA-MLB), enabling the frozen Image LLM for detailed video understanding. Experiments on several benchmarks demonstrate that our approach outperforms state-of-the-art methods, achieving superior performance in both efficiency and accuracy. Our code will be released.