Gameplay Highlights Generation

📄 arXiv: 2505.07721v1 📥 PDF

作者: Vignesh Edithal, Le Zhang, Ilia Blank, Imran Junejo

分类: cs.CV

发布日期: 2025-05-12

💡 一句话要点

提出基于微调X-CLIP的多模态游戏精彩片段自动生成方法，无需游戏引擎集成或OCR。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 游戏精彩片段生成 多模态学习 视频理解 X-CLIP Prompt工程 迁移学习 ONNX 跨平台推理

📋 核心要点

  1. 传统游戏精彩片段检测依赖游戏引擎集成或OCR，前者成本高昂，后者泛化性差且需大量工程工作。
  2. 本文微调多模态视频理解模型X-CLIP，通过Prompt工程提升性能，实现跨游戏类型的精彩片段自动生成。
  3. 实验表明，该模型在第一人称射击游戏中检测有趣事件的准确率超过90%，且在低资源游戏上表现出迁移学习能力。

📝 摘要（中文）

本文旨在帮助游戏玩家在社交媒体上分享游戏体验，通过自动生成引人注目的精彩片段来实现。该方法首先识别视频中发生有趣事件的时间间隔，然后将它们连接起来。为此，作者构建了一个内部游戏事件检测数据集，其中包含由人工使用VIA视频注释器标注的有趣事件。与需要昂贵的游戏开发者协作的游戏引擎集成等传统技术不同，也不同于需要昂贵的针对每个游戏的工程设计且可能无法推广到不同游戏UI和语言的OCR技术，本文使用该数据集微调了一个通用的多模态视频理解模型X-CLIP，该模型可以推广到同一类型的多个游戏，而无需针对每个游戏进行工程设计。通过Prompt工程提高了该多模态模型的分类性能。评估表明，这种微调后的模型可以从未见过的游戏画面中检测第一人称射击游戏中的有趣事件，准确率超过90%。此外，当与高资源游戏一起训练时，该模型在低资源游戏（小数据集）上的表现明显更好，显示出迁移学习的迹象。为了使模型可用于生产，作者使用ONNX库来实现跨平台推理。这些库还提供训练后量化工具，以减少模型大小和部署的推理时间。使用带有DirectML后端的ONNX运行时库在Windows操作系统上执行高效推理。结果表明，X-CLIP模型中的自然语言监督可以产生数据高效且高性能的视频识别模型。

🔬 方法详解

问题定义：论文旨在解决游戏玩家难以快速生成和分享游戏精彩片段的问题。现有方法，如游戏引擎集成，需要与游戏开发者进行深度合作，成本高昂。而基于OCR的方法需要针对每个游戏进行定制化工程，难以泛化到不同的游戏UI和语言，维护成本也很高。

核心思路：论文的核心思路是利用通用的多模态视频理解模型，通过少量数据的微调，使其能够识别不同游戏中的精彩事件。通过自然语言监督和Prompt工程，提升模型对游戏事件的理解能力，从而实现跨游戏的精彩片段自动生成。这种方法避免了对游戏引擎的依赖，也无需针对每个游戏进行定制化开发。

技术框架：整体框架包括以下几个阶段：1) 构建游戏事件检测数据集，使用VIA视频注释器进行人工标注。2) 选择通用的多模态视频理解模型X-CLIP作为基础模型。3) 使用构建的数据集对X-CLIP进行微调，并进行Prompt工程优化。4) 使用ONNX库进行模型优化，包括量化和跨平台部署。5) 在Windows操作系统上使用DirectML后端进行高效推理。

关键创新：最重要的技术创新点在于使用通用的多模态视频理解模型X-CLIP，并结合Prompt工程，实现了跨游戏类型的精彩片段自动生成。与传统方法相比，该方法无需游戏引擎集成或针对每个游戏进行定制化开发，大大降低了成本和维护难度。此外，该方法在低资源游戏上表现出迁移学习能力，进一步提升了模型的泛化性。

关键设计：论文的关键设计包括：1) 使用VIA视频注释器构建高质量的游戏事件检测数据集。2) 选择X-CLIP作为基础模型，利用其强大的多模态理解能力。3) 通过Prompt工程，优化模型对游戏事件的理解。4) 使用ONNX库进行模型量化和跨平台部署，提高推理效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，微调后的X-CLIP模型在第一人称射击游戏中检测有趣事件的准确率超过90%。此外，当与高资源游戏一起训练时，该模型在低资源游戏上的表现明显更好，显示出迁移学习的迹象。这些结果验证了该方法在跨游戏类型精彩片段自动生成方面的有效性和泛化性。

🎯 应用场景

该研究成果可应用于游戏直播平台、游戏社交媒体等领域，帮助玩家快速生成和分享游戏精彩片段，提升用户参与度和活跃度。同时，该技术也可扩展到其他视频内容分析领域，如体育赛事精彩片段生成、电影预告片制作等，具有广阔的应用前景。

📄 摘要（原文）

In this work, we enable gamers to share their gaming experience on social media by automatically generating eye-catching highlight reels from their gameplay session Our automation will save time for gamers while increasing audience engagement. We approach the highlight generation problem by first identifying intervals in the video where interesting events occur and then concatenate them. We developed an in-house gameplay event detection dataset containing interesting events annotated by humans using VIA video annotator. Traditional techniques for highlight detection such as game engine integration requires expensive collaboration with game developers. OCR techniques which detect patches of specific images or texts require expensive per game engineering and may not generalize across game UI and different language. We finetuned a multimodal general purpose video understanding model such as X-CLIP using our dataset which generalizes across multiple games in a genre without per game engineering. Prompt engineering was performed to improve the classification performance of this multimodal model. Our evaluation showed that such a finetuned model can detect interesting events in first person shooting games from unseen gameplay footage with more than 90% accuracy. Moreover, our model performed significantly better on low resource games (small dataset) when trained along with high resource games, showing signs of transfer learning. To make the model production ready, we used ONNX libraries to enable cross platform inference. These libraries also provide post training quantization tools to reduce model size and inference time for deployment. ONNX runtime libraries with DirectML backend were used to perform efficient inference on Windows OS. We show that natural language supervision in the X-CLIP model leads to data efficient and highly performant video recognition models.