A Survey on Vision Autoregressive Model

📄 arXiv: 2411.08666v2 📥 PDF

作者: Kai Jiang, Jiaxing Huang

分类: cs.CV, cs.AI

发布日期: 2024-11-13 (更新: 2024-11-16)

备注: This work will be integrated into another project

💡 一句话要点

综述视觉自回归模型，涵盖图像、视频生成及多模态统一生成等任务。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉自回归模型 图像生成 视频生成 多模态生成 序列预测 视觉Tokenization Transformer 计算机视觉

📋 核心要点

  1. 现有视觉任务方法在可扩展性、适应性和泛化能力方面存在不足，难以统一处理多种视觉任务。
  2. 借鉴NLP自回归模型的成功经验，将视觉数据表示为视觉tokens，通过预测next-token实现视觉任务的自回归建模。
  3. 综述涵盖多种视觉任务，并对现有方法进行基准测试和讨论，为未来研究提供方向。

📝 摘要（中文）

自回归模型在自然语言处理（NLP）领域表现出卓越的性能，具有令人印象深刻的可扩展性、适应性和泛化能力。受到其在NLP领域显著成功的启发，自回归模型最近在计算机视觉领域得到了深入研究。这些模型通过将视觉数据表示为视觉tokens来执行next-token预测，从而为各种视觉任务实现自回归建模，涵盖了从视觉生成和视觉理解到最新的统一视觉生成和理解的多模态生成。本文对视觉自回归模型进行了系统的综述，包括对现有方法进行分类，并突出其主要贡献、优势和局限性，涵盖了图像生成、视频生成、图像编辑、运动生成、医学图像分析、3D生成、机器人操作、统一多模态生成等各种视觉任务。此外，我们还研究和分析了自回归模型的最新进展，包括对各种评估数据集上现有方法的全面基准测试和讨论。最后，我们概述了未来的关键挑战和有希望的方向，为进一步推进视觉自回归模型提供路线图。

🔬 方法详解

问题定义：现有视觉模型通常针对特定任务设计，缺乏通用性和可扩展性，难以统一处理图像生成、视频生成、图像理解等多种任务。此外，传统方法在处理高分辨率图像和长序列视频时，计算复杂度高，难以有效建模长程依赖关系。

核心思路：借鉴自然语言处理中自回归模型的成功经验，将视觉数据离散化为视觉tokens，并利用自回归模型预测序列中的下一个token。通过这种方式，可以将各种视觉任务转化为序列预测问题，从而实现统一建模。

技术框架：视觉自回归模型通常包含以下几个主要模块：1) 视觉tokenization模块，用于将原始视觉数据转换为离散的视觉tokens；2) 自回归模型，用于学习视觉tokens之间的依赖关系并预测下一个token；3) 解码模块，用于将预测的视觉tokens转换为最终的视觉输出。整体流程是从视觉数据到tokens，再到自回归建模和最终的视觉输出。

关键创新：该方法的核心创新在于将视觉任务转化为序列预测问题，从而可以利用强大的自回归模型进行建模。与传统的视觉模型相比，自回归模型具有更强的通用性和可扩展性，可以处理各种视觉任务，并且能够有效建模长程依赖关系。

关键设计：关键设计包括：1) 视觉tokenization方法，例如VQ-VAE、DALL-E等，用于将视觉数据转换为离散的tokens；2) 自回归模型的选择，例如Transformer、RNN等，用于学习tokens之间的依赖关系；3) 损失函数的设计，例如交叉熵损失函数，用于优化模型参数。

🖼️ 关键图片

img_0

📊 实验亮点

该综述对现有视觉自回归模型进行了全面的评估和比较，涵盖了图像生成、视频生成等多个任务。通过对不同模型的性能进行基准测试，分析了它们的优缺点，并为未来的研究方向提供了指导。具体性能数据和对比基线在论文中有详细描述。

🎯 应用场景

视觉自回归模型在图像生成、视频生成、图像编辑、医学图像分析、机器人操作等领域具有广泛的应用前景。该技术可以用于生成逼真的图像和视频，编辑图像内容，辅助医学诊断，以及控制机器人完成复杂任务。未来，随着技术的不断发展，视觉自回归模型将在更多领域发挥重要作用。

📄 摘要（原文）

Autoregressive models have demonstrated great performance in natural language processing (NLP) with impressive scalability, adaptability and generalizability. Inspired by their notable success in NLP field, autoregressive models have been intensively investigated recently for computer vision, which perform next-token predictions by representing visual data as visual tokens and enables autoregressive modelling for a wide range of vision tasks, ranging from visual generation and visual understanding to the very recent multimodal generation that unifies visual generation and understanding with a single autoregressive model. This paper provides a systematic review of vision autoregressive models, including the development of a taxonomy of existing methods and highlighting their major contributions, strengths, and limitations, covering various vision tasks such as image generation, video generation, image editing, motion generation, medical image analysis, 3D generation, robotic manipulation, unified multimodal generation, etc. Besides, we investigate and analyze the latest advancements in autoregressive models, including thorough benchmarking and discussion of existing methods across various evaluation datasets. Finally, we outline key challenges and promising directions for future research, offering a roadmap to guide further advancements in vision autoregressive models.