Video2Reaction: Mapping Video to Audience Reaction Distribution in the Wild
作者: Trang Nguyen, Sidong Zhang, Shiv Shankar, Gauri Jagatap, Deepak Chandran, Andrea Fanelli, Madalina Fiterau
分类: cs.CV, cs.LG
发布日期: 2026-07-08
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Video2Reaction以解决视频内容观众反应预测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频内容分析 观众反应预测 多模态数据集 情感分析 机器学习
📋 核心要点
- 现有方法在视频内容的观众反应预测上存在不足，尤其是在动态变化的情感表达方面。
- 论文提出了Video2Reaction数据集，并开发了基于开源大语言模型的两阶段多代理管道，以提高反应预测的准确性。
- 实验结果表明，尽管微调后的模型在主导反应预测上达到77%的Top-3 F1，但仍存在显著的建模挑战。
📝 摘要（中文）
理解和预测观众对视频内容的反应对于提升内容创作、推荐系统和媒体分析至关重要。为此，我们提出了Video2Reaction，一个多模态数据集，将短片段电影映射到观众在社交媒体上表达的情感分布。该数据集涵盖超过10,000个视频，作为观众反应预测的可靠基准和训练资源。我们开发了一个两阶段的多代理管道，利用开源大语言模型实现了86%的盲人验证正确率，尽管任务本质上具有噪声和主观性。我们建立了首个视频到反应分布预测的基准，并展示了预训练基础视频模型在零-shot设置下的不足，而微调后则能成为最先进的预测器。
🔬 方法详解
问题定义：本论文旨在解决视频内容观众反应的预测问题，现有方法在处理动态和主观情感表达时存在显著不足，难以准确捕捉观众的真实反应。
核心思路：论文的核心解决思路是构建一个多模态数据集Video2Reaction，并利用开源大语言模型开发一个两阶段的多代理管道，以实现高效且准确的观众反应预测。
技术框架：整体架构包括数据收集、反应分布映射和模型训练三个主要模块。首先，通过社交媒体收集观众反应数据，然后利用多代理系统进行情感标注，最后对模型进行微调以提高预测性能。
关键创新：最重要的技术创新在于建立了首个视频到反应分布预测的基准，并展示了预训练模型在零-shot设置下的局限性，通过微调实现了性能的显著提升。
关键设计：在模型设计中，采用了特定的损失函数以优化反应分布的预测，同时在多代理管道中设置了开放式大语言模型，以便于实现持续的情感标注。
🖼️ 关键图片
📊 实验亮点
实验结果显示，微调后的模型在主导反应预测上达到了77%的Top-3 F1，显著优于未微调的预训练模型，验证了该方法在实际应用中的有效性和潜力。
🎯 应用场景
该研究的潜在应用领域包括内容创作、社交媒体分析和个性化推荐系统。通过准确预测观众反应，内容创作者可以更好地调整其作品以满足观众需求，提升用户体验。此外，该技术还可用于分析观众情感变化，帮助媒体机构优化内容策略。
📄 摘要（原文）
Understanding and forecasting audience reactions to video content are crucial for improving content creation, recommendation systems, and media analysis. To enable audience reaction prediction and other content engagement applications, we introduce $\textbf{Video2Reaction}$, a multimodal dataset that maps short movie segments to a distribution of $\textit{induced emotions}$ of viewers in the wild, as expressed through social media. $\textbf{Video2Reaction}$ spans more than 10,000 videos and serves as a reliable benchmark as well as a training resource for audience reaction prediction. To enable cost-effective continuous annotations as reactions may change over time, we develop a two-stage multi-agent pipeline using only open-source LLMs, achieving 86% correctness under blind human verification despite the inherently noisy and subjective nature of the task. We establish the first benchmark for video-to-reaction-distribution prediction in the wild and show that pretrained foundation video models fail in zero-shot settings, while finetuning transforms them into state-of-the-art predictors capable of modeling both full reaction distributions and dominant responses from video alone. However, the task remains challenging: even the strongest methods achieve only 77% Top-3 F1 in dominant reaction prediction (LLaVA-Next), highlighting a substantial gap in modeling collective audience reaction. \modification{Dataset and code are available at our project page: https://information-fusion-lab-umass.github.io/video2reaction-bench.github.io