Reinforcing Structured Chain-of-Thought for Video Understanding

📄 arXiv: 2603.25942v1 📥 PDF

作者: Peiyao Wang, Haotian Xu, Noranart Vesdapunt, Rui Hou, Jingyi Zhang, Haibin Ling, Oleksandr Obiednikov, Ning Zhou, Kah Kuen Fu

分类: cs.CV, cs.AI

发布日期: 2026-03-26

备注: Accepted to CVPR 2026 (Main Conference)

💡 一句话要点

提出Summary-Driven RL框架，增强MLLM在视频理解中的推理能力和泛化性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 多模态学习 强化学习 思维链 自监督学习

📋 核心要点

  1. 现有MLLM在视频理解中存在推理漂移和时间理解不足的问题，且依赖昂贵的CoT标注和多阶段训练。
  2. 提出Summary-Driven RL框架，利用结构化CoT格式，并引入视觉知识一致性和推理动态多样性机制。
  3. 在七个VideoQA数据集上取得了SOTA性能，验证了该方法在视频理解任务上的有效性。

📝 摘要（中文）

多模态大型语言模型(MLLM)在视频理解方面展现出潜力。然而，即使通过群体相对策略优化(GRPO)等强化学习(RL)技术增强，它们的推理仍然存在思维漂移和时间理解薄弱的问题。此外，现有的RL方法通常依赖于监督微调(SFT)，这需要昂贵的思维链(CoT)标注和多阶段训练，并强制执行固定的推理路径，限制了MLLM的泛化能力，并可能导致偏差。为了克服这些限制，我们引入了Summary-Driven Reinforcement Learning (SDRL)，这是一种新颖的单阶段RL框架，它通过利用结构化的CoT格式：总结->思考->回答，从而避免了对SFT的需求。SDRL引入了两种集成到GRPO目标中的自监督机制：1) 视觉知识一致性(CVK)，通过减少生成的摘要之间的KL散度来加强事实基础；2) 推理的动态多样性(DVR)，通过基于群体准确性动态调节思维多样性来促进探索。这种新颖的集成有效地平衡了对齐和探索，监督最终答案和推理过程。我们的方法在七个公共VideoQA数据集上实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决多模态大型语言模型(MLLM)在视频理解任务中存在的推理漂移、时间理解薄弱以及泛化能力不足的问题。现有方法通常依赖于监督微调(SFT)，需要大量的CoT标注数据，并且推理路径固定，限制了模型的探索能力和泛化性。

核心思路：论文的核心思路是利用强化学习(RL)来优化MLLM的推理过程，同时避免对SFT的依赖。通过引入结构化的CoT格式（总结->思考->回答），并结合自监督机制，鼓励模型生成更准确、更具多样性的推理路径，从而提高视频理解的性能。

技术框架：SDRL框架基于群体相对策略优化(GRPO)，采用单阶段训练方式。框架包含以下主要模块：1) 视频编码器：提取视频特征；2) 语言模型：生成摘要、思考过程和最终答案；3) 奖励函数：评估答案的准确性，并引导模型的训练。框架的关键在于结构化的CoT格式和两个自监督机制。

关键创新：论文的关键创新在于提出了Summary-Driven Reinforcement Learning (SDRL)框架，该框架无需SFT，而是通过自监督机制来指导模型的训练。视觉知识一致性(CVK)和推理的动态多样性(DVR)是两个核心的自监督机制，它们分别从事实基础和探索多样性的角度来优化模型的推理过程。与现有方法相比，SDRL能够更有效地平衡对齐和探索，从而提高模型的泛化能力。

关键设计：CVK通过最小化生成摘要之间的KL散度来保证摘要的一致性，鼓励模型提取更可靠的视觉知识。DVR则根据群体准确性动态调整思考过程的多样性，鼓励模型探索不同的推理路径。奖励函数的设计至关重要，它需要能够准确评估答案的质量，并引导模型生成更合理的推理过程。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SDRL在七个公共VideoQA数据集上取得了SOTA性能，显著优于现有的方法。例如，在某数据集上，SDRL的准确率比最佳基线提高了X%。实验结果表明，SDRL能够有效地提高MLLM在视频理解任务中的推理能力和泛化性，验证了所提出的自监督机制的有效性。

🎯 应用场景

该研究成果可应用于智能视频分析、视频问答系统、视频内容理解等领域。例如，可以用于开发更智能的视频搜索引擎，帮助用户快速找到所需信息；也可以用于构建更强大的视频监控系统，实现更准确的事件检测和异常行为识别。未来，该方法有望推动视频理解技术在工业、医疗、教育等领域的广泛应用。

📄 摘要（原文）

Multi-modal Large Language Models (MLLMs) show promise in video understanding. However, their reasoning often suffers from thinking drift and weak temporal comprehension, even when enhanced by Reinforcement Learning (RL) techniques like Group Relative Policy Optimization (GRPO). Moreover, existing RL methods usually depend on Supervised Fine-Tuning (SFT), which requires costly Chain-of-Thought (CoT) annotation and multi-stage training, and enforces fixed reasoning paths, limiting MLLMs' ability to generalize and potentially inducing bias. To overcome these limitations, we introduce Summary-Driven Reinforcement Learning (SDRL), a novel single-stage RL framework that obviates the need for SFT by utilizing a Structured CoT format: Summarize -> Think -> Answer. SDRL introduces two self-supervised mechanisms integrated into the GRPO objective: 1) Consistency of Vision Knowledge (CVK) enforces factual grounding by reducing KL divergence among generated summaries; and 2) Dynamic Variety of Reasoning (DVR) promotes exploration by dynamically modulating thinking diversity based on group accuracy. This novel integration effectively balances alignment and exploration, supervising both the final answer and the reasoning process. Our method achieves state-of-the-art performance on seven public VideoQA datasets.