LazySloth: Bounded LLM-based Lazy Tree Search for Fast Long Video Comprehension

📄 arXiv: 2609.37426v1 📥 PDF

作者: Arka Mukherjee, Kaleen Shrestha, Larissa Zhu, Maja Matarić

分类: cs.CV, cs.AI

发布日期: 2026-09-29

备注: Under review at conference. Preprints allowed when under review

💡 一句话要点

提出LazySloth以解决长视频理解中的效率问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 树形搜索 视觉语言模型 多模态检索 效率提升

📋 核心要点

  1. 现有方法在长视频理解中效率低下，主要依赖于粗略的图像帧描述，导致计算资源浪费。
  2. LazySloth通过有界描述不相关视频部分，采用树形搜索方法，显著提高了视频理解的速度和效率。
  3. LazySloth在多个基准测试中表现优异，提升幅度为2.9-8.3倍，且在准确率上与先进模型相当。

📝 摘要（中文）

现代视觉语言模型（VLMs）在长视频理解方面表现出色，但现有方法多集中于对提取图像帧的粗略描述，导致计算效率低下且需要大上下文窗口。尽管有研究尝试通过多模态检索增强生成（RAG）来提高效率，但这些方法往往依赖于损失的嵌入，忽视了时间上下文和细节。本文提出LazySloth，一种高效的基于树的搜索方法，通过对VLM认为不相关的视频部分进行有界描述，显著加快视频理解和检索任务的速度，提升幅度为2.9-8.3倍。LazySloth在多个基准测试中与现有的专用视频理解VLMs和RAG方法相比，达到了相似或更好的最终任务准确率。

🔬 方法详解

问题定义：本文旨在解决长视频理解中的效率问题，现有方法多依赖于粗略的图像帧描述，导致计算资源浪费和上下文信息丢失。

核心思路：LazySloth的核心思路是通过树形搜索方法对VLM认为不相关的视频部分进行有界描述，从而加快视频理解速度，同时保持较高的准确性。

技术框架：LazySloth的整体架构包括视频帧的提取、基于树的搜索算法和有界描述生成模块，形成高效的视频理解流程。

关键创新：LazySloth的主要创新在于其有界描述机制和树形搜索策略，显著减少了计算成本，与现有方法相比，能够在保持准确率的同时提高效率。

关键设计：在设计中，LazySloth采用了CLIP-based检索替代VLM场景理解，实验表明这种替代会导致8.8-19.9%的准确率损失，同时懒惰树构建方法在描述成本上远低于急切构建。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

LazySloth在多个基准测试中表现出色，相比于现有方法，其视频理解和检索任务的速度提升了2.9-8.3倍，同时在准确率上与先进的闭源模型GPT-4o相当，展示了其高效性和实用性。

🎯 应用场景

LazySloth的研究成果在视频监控、内容推荐和教育等领域具有广泛的应用潜力。通过提高长视频理解的效率，LazySloth能够帮助用户更快速地获取关键信息，提升信息检索和处理的效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Modern vision-language models (VLMs) have shown promising results in long-video understanding due to the rich semantic information they can capture. However, most methods focus on coarse captioning of extracted image frames that are computationally inefficient and require models with large context windows. While past work has explored efficient methods through multimodal retrieval-augmented generation (RAG), they rely on lossy embeddings that lose temporal context and fine-grained detail. Few works to date have investigated how VLM-based query-relevant information retrieval can be optimized. We introduce LazySloth, an efficient tree-based search method that speeds up video comprehension and retrieval tasks 2.9-8.3x (compared to existing agentic methods) through bounded captioning of portions of the video considered irrelevant by a VLM of the video. Compared to contemporary specialized video-understanding VLMs and RAG-based methods, LazySloth achieved similar or better final task accuracy across two recent open-source base VLMs--Gemma 4 31B and Qwen3.6 27B--across four benchmarks. LazySloth reduced the gap between the base open-source model and a closed-source model, GPT-4o. Ablations showed that replacing VLM scene understanding with CLIP-based retrieval cost 8.8-19.9% in accuracy, while lazy tree construction matches eager construction at a fraction of the captioning cost. With LazySloth, we demonstrate the possibility of faster long-video comprehension without substantial loss in performance.