VDC-Agent: When Video Detailed Captioners Evolve Themselves via Agentic Self-Reflection

📄 arXiv: 2511.19436v1 📥 PDF

作者: Qiang Wang, Xinyuan Gao, SongLin Dong, Jizhou Han, Jiangyang Li, Yuhang He, Yihong Gong

分类: cs.CV, cs.AI, cs.LG, cs.MM

发布日期: 2025-11-24

💡 一句话要点

VDC-Agent：通过Agent自反思进化视频详细描述模型，无需人工标注和大型教师模型。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视频详细描述 自进化学习 Agent自反思 多模态学习 直接偏好优化

📋 核心要点

  1. 现有视频详细描述模型依赖大量人工标注或大型教师模型，成本高昂且效率较低。
  2. VDC-Agent通过Agent自反思机制，实现闭环学习，无需人工标注和大型教师模型。
  3. 实验表明，VDC-Agent-7B在VDC基准测试上取得了SOTA性能，显著优于现有模型。

📝 摘要（中文）

本文提出了VDC-Agent，一个用于视频详细描述的自进化框架，该框架无需人工标注或更大的教师模型。该Agent形成了一个闭环，包括描述生成、原则引导的评分（分数和文本建议）以及提示优化。当描述质量下降时，自反思路径会利用之前的思维链来修正更新。在未标记的视频上运行此过程会生成(描述，分数)对的轨迹。我们将这些轨迹转换为偏好元组，并过滤掉具有JSON解析错误的样本，从而生成VDC-Agent-19K，其中包含18,886个自动构建的配对。然后，我们使用由易到难的课程直接偏好优化在此数据集上微调基础MLLM。基于Qwen2.5-VL-7B-Instruct，我们的VDC-Agent-7B在VDC基准测试上实现了最先进的性能，平均准确率为49.08%，得分为2.50，超过了专门的视频描述模型，并且在相似的推理成本下，比基础模型提高了+5.13%的准确率和+0.27的分数。

🔬 方法详解

问题定义：视频详细描述旨在生成对视频内容细致入微的文本描述。现有方法通常依赖于大量人工标注的数据进行训练，或者依赖于大型的预训练模型作为教师模型进行知识蒸馏。这两种方法都存在成本高昂、效率较低的问题，限制了模型在实际应用中的推广。

核心思路：VDC-Agent的核心思路是构建一个自进化的Agent，通过自我反思和迭代优化来提升视频描述能力。该Agent能够生成视频描述，并根据预定义的原则对描述进行评分和改进建议，然后利用这些反馈信息来优化自身的描述生成策略。通过这种闭环学习的方式，Agent能够不断提升描述质量，而无需人工干预。

技术框架：VDC-Agent的整体框架包含以下几个主要模块：1) 描述生成模块：负责生成视频的初始描述。2) 评分模块：根据预定义的原则（例如，准确性、详细程度、流畅性等）对生成的描述进行评分，并给出改进建议。3) 提示优化模块：根据评分模块的反馈信息，优化描述生成模块的提示，使其能够生成更高质量的描述。4) 自反思模块：当描述质量下降时，利用之前的思维链来修正更新，避免陷入局部最优。

关键创新：VDC-Agent最重要的创新点在于其自进化和自反思的能力。通过构建一个闭环学习系统，Agent能够不断从自身的经验中学习，并根据反馈信息来优化自身的行为。这种自学习的方式使得Agent能够摆脱对人工标注数据的依赖，并能够适应不同的视频内容和描述需求。此外，自反思模块能够帮助Agent避免陷入局部最优，并保持学习的稳定性。

关键设计：VDC-Agent的关键设计包括：1) 评分原则的设计：评分原则需要能够准确反映描述质量，并能够提供有用的改进建议。2) 提示优化策略的设计：提示优化策略需要能够有效地利用评分模块的反馈信息，并能够生成更符合要求的描述。3) 自反思机制的设计：自反思机制需要能够有效地识别描述质量下降的情况，并能够利用之前的经验来修正更新。论文中使用了直接偏好优化（Direct Preference Optimization, DPO）方法，并构建了VDC-Agent-19K数据集进行训练。

📊 实验亮点

VDC-Agent-7B在VDC基准测试上取得了49.08%的平均准确率和2.50的得分，超越了现有的专门视频描述模型。与基线模型Qwen2.5-VL-7B-Instruct相比，VDC-Agent-7B在相似的推理成本下，准确率提高了+5.13%，得分提高了+0.27，证明了该方法的有效性。

🎯 应用场景

VDC-Agent可应用于智能视频监控、视频内容理解、视频搜索与推荐等领域。通过自动生成详细的视频描述，可以提升视频分析的准确性和效率，降低人工成本。该技术还有助于开发更智能的视频应用，例如自动视频摘要、视频问答等。

📄 摘要（原文）

We present VDC-Agent, a self-evolving framework for Video Detailed Captioning that requires neither human annotations nor larger teacher models. The agent forms a closed loop of caption generation, principle-guided scoring (score and textual suggestions), and prompt refinement. When caption quality regresses, a self-reflection path leverages the previous chain-of-thought to amend the update. Running this process on unlabeled videos produces trajectories of (caption, score) pairs. We convert the trajectories into preference tuples and filter out samples with JSON parsing errors, resulting in VDC-Agent-19K, which contains 18,886 automatically constructed pairs. We then fine-tune the base MLLM on this dataset using an easy-to-hard curriculum direct preference optimization. Built on Qwen2.5-VL-7B-Instruct, our VDC-Agent-7B attains state-of-the-art performance on the VDC benchmark with 49.08% average accuracy and 2.50 score, surpassing specialized video captioners and improving over the base model by +5.13% accuracy and +0.27 score at similar inference cost.