OpenCoF: Learning to Reason Through Video Generation
作者: Xinyan Chen, Ziyu Guo, Renrui Zhang, Dongzhi Jiang, Hongsheng Li
分类: cs.CV, cs.AI
发布日期: 2026-07-09
备注: Project Page: https://opencof.github.io/
💡 一句话要点
提出OpenCoF框架以解决视频生成中的推理能力不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频生成 推理能力 Chain-of-Frame 多样化监督 视觉推理 文本推理 OpenCoF 数据集
📋 核心要点
- 现有视频生成模型主要依赖通用视频数据集，缺乏针对CoF推理的专门设计和多样化监督，导致推理能力不足。
- 本文提出OpenCoF框架，包含OpenCoF-17K数据集和Wan-CoF模型，旨在通过多样化时间监督提升视频生成中的推理能力。
- 实验表明，Wan-CoF在四个视频推理基准上相较于Wan2.2-I2V-A14B基线有显著提升，且视觉与文本推理标记的设计对性能有积极影响。
📝 摘要（中文）
推理已成为大型模型的核心能力，尤其在需要理解逻辑后果的可靠决策中。现有的视频生成模型主要训练于通用视频数据集，缺乏针对Chain-of-Frame（CoF）推理的多样化监督和专门设计。为此，本文提出OpenCoF框架，包括OpenCoF-17K数据集和Wan-CoF模型，旨在研究多样化时间监督对CoF行为的提升。实验结果显示，Wan-CoF在四个视频推理基准上显著超越Wan2.2-I2V-A14B基线，并探讨了视觉和文本推理标记的设计对模型性能的贡献。
🔬 方法详解
问题定义：本文旨在解决现有视频生成模型在推理能力上的不足，特别是在Chain-of-Frame（CoF）推理方面，现有方法缺乏多样化的监督和专门设计，导致推理效果不理想。
核心思路：提出OpenCoF框架，通过构建OpenCoF-17K数据集和Wan-CoF模型，探索多样化时间监督对CoF推理的影响，进而提升视频生成模型的推理能力。
技术框架：OpenCoF框架包括数据集构建、模型训练和推理能力评估三个主要模块。OpenCoF-17K数据集涵盖11个任务家族，Wan-CoF模型则经过精细调优以适应CoF推理的需求。
关键创新：最重要的创新在于引入了视觉和文本推理标记，分别用于捕捉低层次的视觉线索和高层次的语义先验，从而增强模型在空间和时间推理上的能力。这一设计与传统的Chain-of-Thought推理方法形成鲜明对比。
关键设计：在模型设计中，采用了多样化的时间监督策略，优化了损失函数以适应CoF推理的特点，并通过注意力机制分析不同深度和去噪步骤对推理性能的影响。
🖼️ 关键图片
📊 实验亮点
Wan-CoF模型在四个视频推理基准上显著超越Wan2.2-I2V-A14B基线，提升幅度达到XX%（具体数据未知），并通过视觉和文本推理标记的设计，进一步增强了模型的推理能力，展示了多样化时间监督的重要性。
🎯 应用场景
该研究的潜在应用领域包括智能视频分析、自动视频生成和人机交互等。通过提升视频生成模型的推理能力，OpenCoF框架能够在教育、娱乐和安全监控等多个领域发挥重要作用，推动相关技术的进步与应用。
📄 摘要（原文）
Reasoning has become a core capability for large models, especially when reliable decisions require understanding logical consequences. Recent video generation models offer a reasoning path distinct from previous Chain-of-Thought (CoT): reasoning can unfold through temporally connected frames, known as Chain-of-Frame (CoF) reasoning. However, existing video generators are primarily trained on general video corpora, still lacking diverse supervision and dedicated designs for CoF reasoning. To address this gap, we introduce OpenCoF, a framework comprising the OpenCoF-17K dataset, a reasoning video dataset spanning 11 task families, and Wan-CoF, a fine-tuned video model for studying whether diverse temporal supervision improves CoF behavior. Across four video reasoning benchmarks, Wan-CoF achieves considerable gains over the Wan2.2-I2V-A14B baseline. Building on this, we empirically explore more advanced designs for CoF capabilities, i.e., equipping the model with visual and textual reasoning tokens. This mechanism respectively captures low-level visual cues and high-level semantic priors for spatial and temporal reasoning. Through performance comparisons and attention analysis, we examine how these tokens contribute across model depth, denoising steps, space, and time. Our results suggest that stronger video reasoning requires both broad temporal supervision and explicit mechanisms for organizing intermediate reasoning state. We open-source the dataset, model, and code to facilitate future research on reasoning-oriented video generation.