Harnessing LLMs for Automated Video Content Analysis: An Exploratory Workflow of Short Videos on Depression

📄 arXiv: 2406.19528v3 📥 PDF

作者: Jiaying Lizzy Liu, Yunlong Wang, Yao Lyu, Yiheng Su, Shuo Niu, Xuhai Orson Xu, Yan Zhang

分类: cs.HC, cs.AI, cs.CY

发布日期: 2024-06-27 (更新: 2024-07-29)

备注: 7 pages, 2 figures, accepted by CSCW 24

DOI: 10.1145/3678884.3681850

💡 一句话要点

探索LLM在视频内容分析中的应用：以抑郁症短视频为例的自动化分析流程

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 视频内容分析 多模态学习 提示工程 抑郁症 自动化标注

📋 核心要点

  1. 现有内容分析主要集中于文本，忽略了视频等多模态信息的潜力，缺乏有效利用LLM进行视频理解的方法。
  2. 提出一种LLM辅助的多模态视频内容分析流程，包含代码本设计、提示工程、LLM处理和人工评估等环节。
  3. 实验表明，LLM在对象和活动标注方面表现出较高准确性，但在情感和类型标注方面仍有提升空间。

📝 摘要（中文）

本研究探索了大型语言模型（LLM）在视频内容分析中的潜力，重点关注文本内容之外的应用。通过对抑郁症相关的YouTube短视频进行案例研究，提出了一种新的LLM辅助多模态内容分析工作流程。该流程包括代码本设计、提示工程、LLM处理和人工评估。研究人员精心设计了标注提示，以结构化的形式获取LLM标注，并生成解释提示，以更好地理解LLM的推理过程和提高透明度。为了测试LLM的视频标注能力，分析了从25个YouTube抑郁症短视频中提取的203个关键帧。将LLM标注与两位人工标注员的结果进行比较，发现LLM在对象和活动标注方面的准确性高于情感和类型标注。此外，还识别了LLM在视频标注方面的潜力和局限性。基于这些发现，探讨了未来研究的机会和挑战，以及改进工作流程的方法。最后，讨论了基于LLM辅助视频分析的未来研究中涉及的伦理问题。

🔬 方法详解

问题定义：当前内容分析研究主要集中在文本数据上，而忽略了视频等多模态数据蕴含的丰富信息。现有的视频内容分析方法通常依赖于人工标注或传统的计算机视觉技术，存在成本高、效率低、泛化能力弱等问题。因此，如何有效地利用LLM进行视频内容分析，成为了一个亟待解决的问题。

核心思路：本研究的核心思路是探索LLM在视频内容分析中的潜力，并设计一个可行的LLM辅助多模态内容分析流程。通过精心设计的提示工程，引导LLM对视频内容进行结构化标注和解释，从而实现对视频内容的自动化理解和分析。这种方法旨在降低人工标注成本，提高分析效率，并增强分析结果的可解释性。

技术框架：该研究提出的LLM辅助多模态内容分析流程主要包含以下几个阶段：1) 代码本设计：定义需要标注的视频内容类别，例如对象、活动、情感和类型等。2) 提示工程：设计用于引导LLM进行标注和解释的提示语，包括标注提示和解释提示。3) LLM处理：使用设计的提示语，调用LLM对视频关键帧进行标注和解释。4) 人工评估：将LLM的标注结果与人工标注结果进行比较，评估LLM的性能，并分析其优势和不足。

关键创新：本研究的关键创新在于提出了一种新的LLM辅助多模态内容分析流程，并探索了LLM在视频内容分析中的应用。通过精心设计的提示工程，实现了对LLM的有效引导，使其能够对视频内容进行结构化标注和解释。此外，该研究还对LLM在不同类型的视频内容标注方面的性能进行了评估，并识别了其潜力和局限性。

关键设计：在提示工程方面，研究人员设计了两种类型的提示语：标注提示和解释提示。标注提示用于引导LLM对视频内容进行结构化标注，例如识别视频中的对象、活动、情感和类型等。解释提示用于引导LLM解释其标注结果，从而提高分析结果的可解释性。此外，研究人员还对LLM的输出格式进行了规范，使其能够以结构化的形式返回标注结果。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，LLM在对象和活动标注方面的准确性高于情感和类型标注。具体来说，LLM在对象标注方面的准确率达到了80%以上，在活动标注方面的准确率也超过了70%。然而，在情感和类型标注方面，LLM的准确率相对较低，分别为60%和50%左右。这些结果表明，LLM在视频内容分析方面具有一定的潜力，但仍有提升空间。

🎯 应用场景

该研究成果可应用于多个领域，例如：心理健康监测（分析用户上传的视频，识别潜在的抑郁症风险）、内容审核（自动识别违规视频内容）、智能推荐（根据视频内容向用户推荐相关视频）等。通过自动化视频内容分析，可以提高效率、降低成本，并为用户提供更个性化的服务。

📄 摘要（原文）

Despite the growing interest in leveraging Large Language Models (LLMs) for content analysis, current studies have primarily focused on text-based content. In the present work, we explored the potential of LLMs in assisting video content analysis by conducting a case study that followed a new workflow of LLM-assisted multimodal content analysis. The workflow encompasses codebook design, prompt engineering, LLM processing, and human evaluation. We strategically crafted annotation prompts to get LLM Annotations in structured form and explanation prompts to generate LLM Explanations for a better understanding of LLM reasoning and transparency. To test LLM's video annotation capabilities, we analyzed 203 keyframes extracted from 25 YouTube short videos about depression. We compared the LLM Annotations with those of two human coders and found that LLM has higher accuracy in object and activity Annotations than emotion and genre Annotations. Moreover, we identified the potential and limitations of LLM's capabilities in annotating videos. Based on the findings, we explore opportunities and challenges for future research and improvements to the workflow. We also discuss ethical concerns surrounding future studies based on LLM-assisted video analysis.