FinCap: Topic-Aligned Captions for Short-Form Financial YouTube Videos

📄 arXiv: 2509.25745v1 📥 PDF

作者: Siddhant Sukhani, Yash Bhardwaj, Riya Bhadani, Veer Kejriwal, Michael Galarnyk, Sudheer Chava

分类: cs.CV, cs.CL, cs.MM

发布日期: 2025-09-30

备注: ICCV Short Video Understanding Workshop Paper

💡 一句话要点

FinCap：针对金融短视频，提出主题对齐的字幕生成方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 金融短视频 多模态学习 字幕生成 主题对齐 大型语言模型

📋 核心要点

  1. 现有方法在理解金融短视频中的复杂视觉信息和生成主题对齐字幕方面存在不足。
  2. 论文提出一种基于多模态大型语言模型的方法，通过联合推理文本、音频和视频信息来生成字幕。
  3. 实验结果表明，视频模态在多个主题上表现出色，并且选择性的模态组合优于所有模态的组合。

📝 摘要（中文）

本文评估了多模态大型语言模型（MLLM）在金融短视频（SV）中生成主题对齐字幕的能力，通过测试转录文本（T）、音频（A）和视频（V）的联合推理。使用624个带标注的YouTube SV，我们评估了所有七种模态组合（T、A、V、TA、TV、AV、TAV）在五个主题上的表现：主要推荐、情感分析、视频目的、视觉分析和金融实体识别。结果表明，仅视频在五个主题中的四个上表现出色，突显了其在捕捉视觉上下文和有效线索（如情感、手势和肢体语言）方面的价值。诸如TV或AV等选择性模态组合通常优于TAV，这意味着过多的模态可能会引入噪声。这些结果为金融短视频字幕生成建立了首个基线，并说明了在该领域中对复杂视觉线索进行基础性研究的潜力和挑战。所有代码和数据都可以在我们的Github上找到，采用CC-BY-NC-SA 4.0许可。

🔬 方法详解

问题定义：当前金融短视频领域缺乏有效的主题对齐字幕生成方法，难以准确捕捉视频中的关键信息，特别是视觉信息。现有方法难以充分利用视频中的情感、手势等线索，并且多模态信息的融合策略不明确，可能引入噪声。

核心思路：论文的核心思路是利用多模态大型语言模型（MLLM）对金融短视频进行理解，并生成主题对齐的字幕。通过联合推理视频的转录文本、音频和视觉信息，模型能够更全面地理解视频内容，并生成更准确、更相关的字幕。同时，研究不同模态组合的效果，旨在找到最佳的模态融合策略。

技术框架：该研究采用多模态大型语言模型作为基础框架，输入包括视频的转录文本（T）、音频（A）和视频帧（V）。研究者探索了七种模态组合（T、A、V、TA、TV、AV、TAV），并针对五个主题（主要推荐、情感分析、视频目的、视觉分析和金融实体识别）进行评估。整体流程包括数据预处理、模型训练和评估三个阶段。

关键创新：该研究的关键创新在于：1) 首次针对金融短视频字幕生成问题进行了研究，并建立了基线；2) 深入分析了不同模态组合对字幕生成效果的影响，发现视频模态的重要性以及选择性模态组合的优势；3) 揭示了多模态信息融合的挑战，即过多的模态可能引入噪声。

关键设计：研究中使用了624个带标注的YouTube金融短视频，并针对五个主题进行了标注。评估指标包括字幕的准确性、相关性和主题对齐程度。研究者使用了现有的多模态大型语言模型，并针对金融短视频的特点进行了微调。具体的参数设置和网络结构细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，仅使用视频模态在四个主题上表现出色，突显了视觉信息的重要性。选择性的模态组合（如TV或AV）通常优于所有模态的组合（TAV），表明并非模态越多越好，需要谨慎选择模态融合策略。该研究为金融短视频字幕生成建立了首个基线。

🎯 应用场景

该研究成果可应用于金融短视频平台，自动生成高质量的主题对齐字幕，提升用户体验，帮助用户快速理解视频内容。此外，该技术还可以应用于金融教育、投资咨询等领域，为用户提供更便捷、更高效的信息获取方式。未来，该研究可以扩展到其他类型的短视频，例如新闻、娱乐等。

📄 摘要（原文）

We evaluate multimodal large language models (MLLMs) for topic-aligned captioning in financial short-form videos (SVs) by testing joint reasoning over transcripts (T), audio (A), and video (V). Using 624 annotated YouTube SVs, we assess all seven modality combinations (T, A, V, TA, TV, AV, TAV) across five topics: main recommendation, sentiment analysis, video purpose, visual analysis, and financial entity recognition. Video alone performs strongly on four of five topics, underscoring its value for capturing visual context and effective cues such as emotions, gestures, and body language. Selective pairs such as TV or AV often surpass TAV, implying that too many modalities may introduce noise. These results establish the first baselines for financial short-form video captioning and illustrate the potential and challenges of grounding complex visual cues in this domain. All code and data can be found on our Github under the CC-BY-NC-SA 4.0 license.