SLVMBench: Skill Learning from Video Memory

📄 arXiv: 2607.11312v1 📥 PDF

作者: Yudong Yang, Guangzhi Sun, Yixuan Li, Chao Zhang

分类: cs.CV

发布日期: 2026-07-13

💡 一句话要点

提出SLVMBench以解决视频记忆中的技能学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频记忆 技能学习 长视频理解 实时任务 视频大型语言模型 基准测试 人类学习模拟

📋 核心要点

  1. 现有视频-LLMs在从长视频记忆中学习和应用技能时表现不佳，尤其是在复杂的实时任务中。
  2. SLVMBench通过提供长达2-3小时的视频流，测试模型在真实场景中学习和应用技能的能力。
  3. 实验结果表明，现有模型在长视频记忆中学习技能的能力有限，性能显著下降，揭示了其局限性。

📝 摘要（中文）

我们介绍了技能学习视频记忆基准（SLVMBench），这是第一个联合评估视频大型语言模型（视频-LLMs）从长视频记忆中学习技能并将其应用于实时任务的基准。SLVMBench向模型呈现包含2-3小时视频流的教程视频，嵌入在一系列任意无关视频中，模拟现实世界的人类学习过程。视频-LLMs被要求将所获得的技能应用于回答关于正在进行的视频的实时问题。与强调被动理解的长视频理解基准不同，SLVMBench测试了记忆和提取程序性知识的完整流程，以及将其转移到实时任务中的能力。评估结果显示，现有视频-LLMs在从视频中学习和应用技能知识方面存在显著困难，尤其是在技能知识置于长视频记忆中时，性能显著下降。这些结果揭示了现有视频LLMs的关键局限性，并将SLVMBench定位为研究实时技能获取和应用的首个基准。

🔬 方法详解

问题定义：论文要解决的问题是现有视频-LLMs在从长视频记忆中学习技能并应用于实时任务时的不足，尤其是在复杂场景下的表现不佳。现有方法通常依赖于短视频示范，无法有效处理长视频流中的信息。

核心思路：论文提出SLVMBench基准，通过提供包含长视频流的复杂场景，评估视频-LLMs的技能学习和应用能力。该方法模拟人类学习过程，强调技能的记忆、提取和实时应用。

技术框架：SLVMBench的整体架构包括视频流的输入、技能学习模块、实时问答模块和性能评估模块。模型首先从长视频流中提取技能信息，然后在实时任务中应用这些技能。

关键创新：SLVMBench的创新在于其设计的长视频流和复杂的任务环境，区别于传统的短视频理解基准，全面测试了模型的技能学习和应用能力。

关键设计：在实验中，使用了严格的人类注释，确保了时间标定的精确性，并设计了消除常识猜测的手工问题，确保覆盖所需技能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，现有视频-LLMs在从长视频记忆中学习技能时，性能显著下降，尤其是在技能知识嵌入长视频流时，表现出较大的学习困难。这一发现揭示了当前技术的局限性，为未来的研究提供了重要的方向。

🎯 应用场景

该研究的潜在应用领域包括教育、培训和机器人技术等，能够帮助模型更好地从长视频中学习技能并在实时环境中应用。这将推动智能系统在复杂任务中的表现，提升人机交互的自然性和有效性。

📄 摘要（原文）

We introduce Skill Learning from Video Memory (SLVMBench), the first benchmark that jointly evaluates whether video large language models (video-LLMs) can learn skills from long video memory and apply them to real-time tasks. SLVMBench presents models with 2-3 hour video streams that contain a tutorial video embedded in a stream of arbitrary irrelevant videos, resembling real-world human learning practices. Video-LLMs are asked to apply the acquired skill to answer real-time questions about an ongoing video. Unlike long-video understanding benchmarks that emphasize passive comprehension and skill-learning benchmarks that rely on short, immediate demonstrations, SLVMBench tests the full pipeline of memorizing and extracting procedural knowledge, as well as transferring it to real-time tasks. Moreover, rigorous human annotations feature sub-second-level temporal calibration, manually engineered questions eliminating common-sense guessing, and collated tutorials to ensure coverage of the required skills. Evaluations on state-of-the-art proprietary and open-source video LLMs show that video-LLMs struggle substantially with learning and applying skill knowledge from videos. Moreover, performance degrades markedly when the skill knowledge is placed within a long video memory. These results reveal a key limitation of existing video LLMs and position SLVMBench as the first benchmark for studying real-time skill acquisition and application from long-context video memory.