Chain-of-Frames: Advancing Video Understanding in Multimodal LLMs via Frame-Aware Reasoning

📄 arXiv: 2506.00318v1 📥 PDF

作者: Sara Ghazanfari, Francesco Croce, Nicolas Flammarion, Prashanth Krishnamurthy, Farshad Khorrami, Siddharth Garg

分类: cs.CV

发布日期: 2025-05-31

🔗 代码/项目: GITHUB

💡 一句话要点

提出Chain-of-Frames，通过帧感知推理提升多模态LLM的视频理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 多模态LLM 帧感知推理 Chain-of-Frames 视频问答 推理链 数据集构建

📋 核心要点

  1. 现有视频理解方法缺乏对关键帧的显式推理，导致LLM难以准确理解视频内容。
  2. 论文提出Chain-of-Frames方法，通过构建帧感知的推理链，引导LLM关注视频中的关键信息。
  3. 实验表明，该方法在多个视频理解基准上取得了显著提升，并有效降低了LLM的幻觉问题。

📝 摘要（中文）

本文提出了一种名为Chain-of-Frames (CoF) 的方法，旨在提升多模态大型语言模型（LLM）在视频理解方面的能力。该方法的核心思想是让LLM在回答用户问题之前，生成基于视频帧的推理轨迹。为此，作者首先构建了一个大型数据集CoF-Data，其中包含关于自然视频和合成视频的各种问题、答案以及对应的帧级别的推理过程。然后，作者利用CoF-Data对现有的视频LLM进行微调。该方法简单且自包含，无需像现有的视频CoT方法那样依赖辅助网络来选择或标注相关帧。实验结果表明，基于CoF的模型能够生成准确引用关键帧的推理链，从而提高在多个视频理解基准测试上的性能，例如在Video-MME、MVBench和VSI-Bench上超越了领先的视频LLM，并显著降低了幻觉率。

🔬 方法详解

问题定义：现有视频理解方法，特别是基于多模态LLM的方法，在生成推理链时，往往缺乏对视频帧的显式关联，导致模型难以准确捕捉视频中的关键信息，从而影响最终的理解和回答质量。现有的Video CoT方法通常需要额外的网络来选择或标注相关帧，增加了复杂性。

核心思路：论文的核心思路是让LLM在生成推理链时，显式地引用相关的视频帧，从而将推理过程与视频内容紧密结合。通过这种帧感知的推理方式，LLM可以更好地理解视频中的事件和关系，从而提高视频理解的准确性和可靠性。这种方法旨在使LLM的推理过程更加透明和可解释。

技术框架：整体框架包含两个主要阶段：数据集构建和模型微调。首先，构建CoF-Data数据集，该数据集包含视频、问题、答案以及对应的帧级别推理轨迹。然后，利用CoF-Data对现有的视频LLM进行微调，使其能够生成帧感知的推理链。微调后的模型在接收到视频和问题后，首先生成一系列推理步骤，每个步骤都明确地引用相关的视频帧，最后根据推理结果生成答案。

关键创新：最重要的技术创新点在于提出了帧感知的推理链（Chain-of-Frames）的概念，并构建了相应的CoF-Data数据集。与现有的视频CoT方法相比，该方法无需额外的辅助网络来选择或标注相关帧，而是通过直接在推理链中引用帧来实现帧感知。这种方法更加简单和自包含，并且可以更好地利用LLM自身的推理能力。

关键设计：CoF-Data数据集的设计是关键。数据集包含了多样化的视频内容（自然视频和合成视频），以及各种类型的问题和答案。推理轨迹的设计也至关重要，需要确保每个推理步骤都明确地引用相关的视频帧，并且推理过程能够清晰地解释答案的由来。微调过程中，使用了标准的交叉熵损失函数，并对LLM的参数进行优化，使其能够更好地生成帧感知的推理链。具体的网络结构和参数设置取决于所使用的基础视频LLM。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于CoF的模型在Video-MME、MVBench和VSI-Bench等多个视频理解基准测试上超越了领先的视频LLM。例如，在VSI-Bench上，CoF模型取得了显著的性能提升，并且显著降低了LLM的幻觉率。这些结果表明，帧感知的推理链能够有效地提高视频理解的准确性和可靠性。

🎯 应用场景

该研究成果可应用于智能视频分析、视频问答系统、视频内容理解等领域。例如，可以用于开发更智能的视频监控系统，能够自动识别异常事件并生成报警信息。此外，还可以用于构建更强大的视频搜索引擎，能够根据用户的问题准确地检索相关的视频片段。该技术还有潜力应用于教育领域，例如，辅助学生理解教学视频中的关键概念。

📄 摘要（原文）

Recent work has shown that eliciting Large Language Models (LLMs) to generate reasoning traces in natural language before answering the user's request can significantly improve their performance across tasks. This approach has been extended to multimodal LLMs, where the models can produce chain-of-thoughts (CoT) about the content of input images and videos. In this work, we propose to obtain video LLMs whose reasoning steps are grounded in, and explicitly refer to, the relevant video frames. For this, we first create CoF-Data, a large dataset of diverse questions, answers, and corresponding frame-grounded reasoning traces about both natural and synthetic videos, spanning various topics and tasks. Then, we fine-tune existing video LLMs on this chain-of-frames (CoF) data. Our approach is simple and self-contained, and, unlike existing approaches for video CoT, does not require auxiliary networks to select or caption relevant frames. We show that our models based on CoF are able to generate chain-of-thoughts that accurately refer to the key frames to answer the given question. This, in turn, leads to improved performance across multiple video understanding benchmarks, for example, surpassing leading video LLMs on Video-MME, MVBench, and VSI-Bench, and notably reducing the hallucination rate. Code available at https://github.com/SaraGhazanfari/CoF}{github.com/SaraGhazanfari/CoF.