VINO: A Unified Visual Generator with Interleaved OmniModal Context

📄 arXiv: 2601.02358v1 📥 PDF

作者: Junyi Chen, Tong He, Zhoujie Fu, Pengfei Wan, Kun Gai, Weicai Ye

分类: cs.CV

发布日期: 2026-01-05

备注: Project page: https://sotamak1r.github.io/VINO-web/

💡 一句话要点

VINO：一种统一的视觉生成器，通过交错全模态上下文实现图像和视频的生成与编辑。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉生成 多模态学习 扩散模型 图像编辑 视频编辑 统一模型 Transformer 视觉-语言模型

📋 核心要点

  1. 现有视觉生成方法依赖于特定任务的模型或独立模块，难以实现图像和视频的统一生成与编辑。
  2. VINO通过共享的扩散骨干网络，以文本、图像和视频为条件，结合视觉-语言模型和多模态扩散Transformer，实现统一的视觉生成。
  3. 实验结果表明，VINO在视觉质量、指令跟随、参考和属性保持以及多身份编辑方面表现出色。

📝 摘要（中文）

VINO是一个统一的视觉生成器，它在单个框架内执行图像和视频的生成和编辑。VINO没有依赖于特定任务的模型或针对每种模态的独立模块，而是使用共享的扩散骨干网络，该网络以文本、图像和视频为条件，从而在一个模型下实现广泛的视觉创建和编辑任务。具体来说，VINO将视觉-语言模型（VLM）与多模态扩散Transformer（MMDiT）相结合，其中多模态输入被编码为交错的条件tokens，然后用于指导扩散过程。这种设计支持多参考 grounding、长格式指令跟随以及跨静态和动态内容的一致身份保持，同时避免了特定于模态的架构组件。为了训练这样一个统一的系统，我们引入了一个多阶段训练流程，该流程逐步将视频生成基础模型扩展为统一的、多任务的生成器，能够处理图像和视频的输入和输出。在各种生成和编辑基准测试中，VINO展示了强大的视觉质量、忠实的指令跟随、改进的参考和属性保持以及更可控的多身份编辑。我们的结果突出了可扩展的统一视觉生成的实际路径，以及交错的上下文计算作为通用视觉创建基础的前景。

🔬 方法详解

问题定义：现有图像和视频生成方法通常依赖于特定任务的模型或针对不同模态的独立模块，导致模型复杂、难以扩展，且难以在不同模态之间实现一致的编辑和生成效果。这些方法在处理多参考 grounding、长格式指令跟随以及跨静态和动态内容的一致身份保持方面存在挑战。

核心思路：VINO的核心思路是构建一个统一的视觉生成器，通过共享的扩散骨干网络，以文本、图像和视频等多种模态的信息为条件，实现图像和视频的生成与编辑。这种统一的设计避免了针对不同模态的特定架构，从而简化了模型结构，提高了可扩展性。

技术框架：VINO的技术框架主要包括两个核心组件：视觉-语言模型（VLM）和多模态扩散Transformer（MMDiT）。VLM负责将文本、图像和视频等多种模态的输入编码为统一的表示。MMDiT则利用这些表示作为条件，指导扩散过程，从而生成目标图像或视频。整个流程包括多模态输入编码、交错条件tokens生成和扩散生成三个主要阶段。

关键创新：VINO的关键创新在于其统一的架构设计和交错的全模态上下文处理方式。通过将VLM和MMDiT相结合，VINO能够处理多种模态的输入，并在生成过程中保持跨模态的一致性。交错的条件tokens允许模型在不同模态之间进行信息交互，从而实现更精确的控制和更丰富的生成效果。

关键设计：VINO采用多阶段训练流程，逐步将视频生成基础模型扩展为统一的多任务生成器。在训练过程中，模型学习如何处理不同模态的输入，并生成高质量的图像和视频。具体的参数设置、损失函数和网络结构等技术细节在论文中进行了详细描述，但具体数值未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VINO在多个图像和视频生成与编辑基准测试中表现出色，展示了强大的视觉质量、忠实的指令跟随能力、改进的参考和属性保持效果，以及更可控的多身份编辑能力。具体性能数据和对比基线在论文中进行了详细展示，但具体数值未知。VINO的实验结果突出了其在可扩展的统一视觉生成方面的潜力。

🎯 应用场景

VINO具有广泛的应用前景，包括图像和视频编辑、内容创作、虚拟现实、游戏开发等领域。它可以用于生成逼真的图像和视频内容，实现个性化的视觉编辑，以及创建沉浸式的虚拟体验。VINO的统一架构和多模态处理能力使其成为未来视觉生成领域的重要发展方向。

📄 摘要（原文）

We present VINO, a unified visual generator that performs image and video generation and editing within a single framework. Instead of relying on task-specific models or independent modules for each modality, VINO uses a shared diffusion backbone that conditions on text, images and videos, enabling a broad range of visual creation and editing tasks under one model. Specifically, VINO couples a vision-language model (VLM) with a Multimodal Diffusion Transformer (MMDiT), where multimodal inputs are encoded as interleaved conditioning tokens, and then used to guide the diffusion process. This design supports multi-reference grounding, long-form instruction following, and coherent identity preservation across static and dynamic content, while avoiding modality-specific architectural components. To train such a unified system, we introduce a multi-stage training pipeline that progressively expands a video generation base model into a unified, multi-task generator capable of both image and video input and output. Across diverse generation and editing benchmarks, VINO demonstrates strong visual quality, faithful instruction following, improved reference and attribute preservation, and more controllable multi-identity edits. Our results highlight a practical path toward scalable unified visual generation, and the promise of interleaved, in-context computation as a foundation for general-purpose visual creation.