VC-Agent: An Interactive Agent for Customized Video Dataset Collection

📄 arXiv: 2509.21291v1 📥 PDF

作者: Yidan Zhang, Mutian Xu, Yiming Hao, Kun Zhou, Jiahao Chang, Xiaoqiang Liu, Pengfei Wan, Hongbo Fu, Xiaoguang Han

分类: cs.AI, cs.CV

发布日期: 2025-09-25

备注: Project page: https://allenyidan.github.io/vcagent_page/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

VC-Agent：用于定制视频数据集收集的交互式智能体

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频数据集收集 交互式智能体 多模态大语言模型 个性化定制 视频检索

📋 核心要点

  1. 互联网视频数据重要性日益提升，但人工收集特定需求的视频数据耗时耗力。
  2. 提出VC-Agent，利用多模态大语言模型，通过用户交互式反馈，高效检索和扩展视频片段。
  3. 构建个性化视频数据集收集基准，用户研究验证了智能体在实际场景中的有效性和效率。

📝 摘要（中文）

面对数据规模扩展的需求，互联网视频数据变得日益重要。然而，收集满足特定需求的广泛视频数据非常耗费人力和时间。本文旨在加速这一收集过程，并提出了VC-Agent，这是第一个能够理解用户查询和反馈的交互式智能体，从而以最少的用户输入检索/扩展相关的视频片段。具体来说，考虑到用户界面，该智能体定义了各种用户友好的方式，使用户能够基于文本描述和确认来指定需求。在智能体功能方面，我们利用现有的多模态大型语言模型将用户的需求与视频内容联系起来。更重要的是，我们提出了两种新的过滤策略，可以在用户交互持续进行时进行更新。最后，我们为个性化视频数据集收集提供了一个新的基准，并仔细进行了用户研究，以验证我们的智能体在各种实际场景中的使用情况。大量的实验证明了我们的智能体在定制视频数据集收集方面的有效性和效率。

🔬 方法详解

问题定义：现有方法在收集定制化的视频数据集时，主要依赖人工搜索和筛选，效率低下且成本高昂。用户需要花费大量时间来寻找符合特定需求的视频片段，并且难以保证数据集的质量和多样性。现有的视频检索方法通常基于预定义的类别或关键词，难以满足用户个性化的需求，并且无法根据用户的反馈进行迭代优化。

核心思路：VC-Agent的核心思路是构建一个交互式的智能体，通过与用户的多轮对话和反馈，逐步 уточнить 用户的需求，并利用多模态大语言模型来理解视频内容和用户意图，从而实现高效的视频检索和扩展。这种交互式的模式可以有效地解决用户需求不明确和视频内容理解困难的问题。

技术框架：VC-Agent的整体框架包含以下几个主要模块：1) 用户界面：提供用户友好的交互方式，包括文本输入、确认和反馈等。2) 需求理解模块：利用多模态大语言模型解析用户的查询和反馈，提取关键信息和意图。3) 视频检索模块：根据用户需求，从视频数据库中检索相关的视频片段。4) 过滤策略模块：根据用户的反馈，动态更新过滤策略，提高检索的准确性和效率。5) 视频扩展模块：利用生成模型或数据增强技术，扩展视频数据集的规模和多样性。

关键创新：VC-Agent的关键创新在于：1) 提出了一个交互式的视频数据集收集框架，能够根据用户的反馈进行迭代优化。2) 设计了两种新的过滤策略，能够有效地提高视频检索的准确性和效率。3) 构建了一个新的个性化视频数据集收集基准，为该领域的研究提供了参考。与现有方法相比，VC-Agent能够更好地满足用户个性化的需求，并且能够显著提高视频数据集收集的效率。

关键设计：VC-Agent的关键设计包括：1) 用户界面的设计，力求简洁易用，方便用户表达需求和提供反馈。2) 多模态大语言模型的选择和训练，需要根据视频数据的特点进行优化。3) 过滤策略的设计，需要平衡准确性和效率，避免过度过滤或欠过滤。4) 视频扩展模块的设计，需要保证生成视频的质量和多样性。

📊 实验亮点

实验结果表明，VC-Agent在个性化视频数据集收集方面具有显著的优势。用户研究表明，VC-Agent能够有效地理解用户需求，并提供相关的视频片段。与传统的人工收集方法相比，VC-Agent能够显著提高收集效率和准确性。具体性能数据未知，但论文强调了其有效性和效率。

🎯 应用场景

VC-Agent可应用于多种场景，例如：自动驾驶训练数据的收集、特定事件或人物的视频资料整理、教育视频资源的创建等。通过降低视频数据收集的门槛，可以促进计算机视觉、机器人等领域的发展。未来，该技术有望应用于更广泛的领域，例如智能监控、视频内容创作等。

📄 摘要（原文）

Facing scaling laws, video data from the internet becomes increasingly important. However, collecting extensive videos that meet specific needs is extremely labor-intensive and time-consuming. In this work, we study the way to expedite this collection process and propose VC-Agent, the first interactive agent that is able to understand users' queries and feedback, and accordingly retrieve/scale up relevant video clips with minimal user input. Specifically, considering the user interface, our agent defines various user-friendly ways for the user to specify requirements based on textual descriptions and confirmations. As for agent functions, we leverage existing multi-modal large language models to connect the user's requirements with the video content. More importantly, we propose two novel filtering policies that can be updated when user interaction is continually performed. Finally, we provide a new benchmark for personalized video dataset collection, and carefully conduct the user study to verify our agent's usage in various real scenarios. Extensive experiments demonstrate the effectiveness and efficiency of our agent for customized video dataset collection. Project page: https://allenyidan.github.io/vcagent_page/.