Video Generation Models are General-Purpose Vision Learners
作者: Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu
分类: cs.CV, cs.AI
发布日期: 2026-07-10
备注: ECCV 2026
💡 一句话要点
提出GenCeption以实现通用视觉智能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频生成 通用视觉智能 多任务学习 数据效率 视觉-语言对齐
📋 核心要点
- 现有计算机视觉模型往往是任务特定的，缺乏通用性和灵活性，难以适应多样化的视觉任务。
- 论文提出的GenCeption模型通过大规模文本到视频生成的预训练，能够在多种视觉任务中表现出色，具备通用性。
- 实验结果显示，GenCeption在多个任务上超越了专门模型，并且在数据效率上显著提高，使用更少的数据获得相似性能。
📝 摘要（中文）
本论文认为大规模文本到视频生成是实现计算机视觉通用模型的有效预训练范式，提供了必要的时空先验、视觉-语言对齐和可扩展性。我们提出了GenCeption，利用预训练的视频生成扩散模型定义了一种前馈感知模型，能够根据文本指令执行多种视觉任务。实验结果表明，GenCeption在深度、表面法线、相机姿态估计等多项任务上表现出色，常常超过专门模型，并在数据效率上也表现优异。该模型在合成视频上训练后，能够有效推广到真实世界视频及不同类别的物体，显示出视频生成不仅是合成工具，更是通向通用视觉智能的基础路径。
🔬 方法详解
问题定义：现有计算机视觉模型多为任务特定，缺乏通用性，难以处理多样化的视觉任务，且在数据需求上较高。
核心思路：本论文提出GenCeption模型，通过大规模文本到视频生成的预训练，提供必要的时空先验和视觉-语言对齐，从而实现通用视觉智能。
技术框架：GenCeption的整体架构包括一个预训练的视频生成扩散模型作为基础，结合前馈感知模型，能够根据文本指令执行多种视觉任务。
关键创新：GenCeption的创新在于利用视频生成作为预训练范式，显著提升了模型的通用性和数据效率，与传统的任务特定模型形成鲜明对比。
关键设计：模型在训练过程中采用了特定的损失函数和网络结构设计，确保在多任务学习中保持高效性和准确性，同时优化了数据使用效率。
🖼️ 关键图片
📊 实验亮点
GenCeption在深度、表面法线和相机姿态估计等多项任务上达到了最先进的性能，常常超越专门模型，如DepthAnything3和D4RT。此外，该模型在数据效率上表现优异，使用7到500倍更少的训练数据仍能达到与领先模型相当的性能。
🎯 应用场景
GenCeption模型的潜在应用场景包括自动驾驶、机器人视觉、虚拟现实等领域，能够在多种视觉任务中提供灵活的解决方案。其通用性和高效性将推动计算机视觉技术在实际应用中的广泛采用，具有重要的实际价值和未来影响。
📄 摘要（原文）
Driven by next-token prediction, NLP shifted from task-specific models into powerful generalist foundation models. What, then, is the equivalent catalyst needed to achieve a general-purpose model in computer vision? In this paper, we contend that large-scale text-to-video generation serves as a strong pre-training paradigm for computer vision, providing the necessary spatiotemporal priors, vision-language alignment, and scalability required for general visual intelligence. We introduce GenCeption, which leverages a pre-trained video generative diffusion backbone to define a feed-forward perception model, capable of performing various vision tasks steered by text instructions. Empirical results demonstrate that GenCeption achieves state-of-the-art performance across a diverse suite of tasks, including depth, surface normal, and camera pose estimation, expression-referring segmentation, and 3D keypoint prediction, often matching or surpassing specialized models (e.g. DepthAnything3, SAM3, D4RT, VGGT-Omega, Sapiens, David, Genmo, and Lotus-2). Furthermore, the video generative pretrained backbone outperforms alternative pretraining paradigms (e.g., V-JEPA, and Video MAE) under comparable settings. Importantly, GenCeption exhibits preliminary data and model scaling properties along with exceptional data efficiency, where it achieves comparable performance with leading models like D4RT and VGGT-Omega with 7 to 500 less training data. Finally, GenCeption also exhibits intriguing emergent behaviors: a model trained exclusively on synthetic human videos generalizes to real-world footage and out-of-distribution object categories (e.g., animals and robots). These findings suggest that video generation is not merely a synthesis tool, but a foundational path toward generalist vision intelligence for the physical world. Project page: https://genception.github.io