LynnReal-Omni: Native multi-modal Video Generation for Agentic Visual Workflows
作者: Xiaofeng Mao, Peijia Lin, Shaohao Rui, Yibo Zhang, Haibin Wan, Weijie Ma
分类: cs.CV
发布日期: 2026-09-14
💡 一句话要点
提出LynnReal-Omni以解决视频生成控制难题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频生成 多模态扩散 代理视觉创作 实时渲染 内容控制 生成模型 视觉质量 数据管道
📋 核心要点
- 现有视频扩散模型在生成内容时随机性高，控制难度大，导致生成的内容不稳定。
- LynnReal-Omni通过结合多模态输入和代理视觉创作，提供了一种稳定且高质量的视频生成方法。
- 实验表明，LynnReal-Omni在生成速度和质量上均有显著提升，Flash版本的推理时间减少至377毫秒。
📝 摘要（中文）
视频扩散模型具有随机性且难以控制，生成精确内容通常需要多次采样且未必成功，长时间场景在外观、交互和时间一致性上容易漂移。代理视觉创作提供明确的参考、可编辑的3D场景或可执行的游戏状态以实现稳定控制，但本身并不保证高物体或角色的保真度。为此，本文提出LynnReal-Omni，一个基于32B共享多模态扩散变换器的原生多模态视频生成框架，整合了文本到视频、图像条件生成、参考引导生成、结构控制、编辑、降级视频恢复和长视频生成等功能。该框架接受异构视觉输入，允许代理在统一模型中组合视觉条件。
🔬 方法详解
问题定义：本文旨在解决视频生成中的控制难题，现有方法在生成精确内容和长时间场景一致性方面存在显著不足，导致生成结果不稳定。
核心思路：LynnReal-Omni通过将多模态输入与代理视觉创作相结合，提供了一个统一的生成框架，允许用户在生成过程中进行更高效的控制和编辑。
技术框架：该框架基于一个32B共享多模态扩散变换器，整合了文本到视频、图像条件生成等多种功能，并建立了系统化的数据管道用于视频清理和多模态注释。
关键创新：最重要的创新在于将多模态生成与代理视觉创作相结合，使得生成过程更加稳定和高效，显著提高了生成质量和控制能力。
关键设计：采用了27B Flash共享多模态扩散变换器用于实时渲染，并设计了轻量级的VAE解码器，优化了模型和解码过程的加速，提升了生成效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LynnReal-Omni在生成22帧540p视频时，使用标准模型的推理时间为843毫秒，而使用Flash版本则降至377毫秒，显著提升了生成速度。此外，MSAVP评估设计确保了生成内容在指令遵循、视觉质量和时间行为等方面的高水平表现。
🎯 应用场景
LynnReal-Omni的研究成果在游戏开发、影视制作和虚拟现实等领域具有广泛的应用潜力。通过提供高质量、可控的视觉内容生成，能够大幅提升创作效率和用户体验，推动相关行业的发展。未来，该技术还可能在实时视频生成和交互式媒体中发挥重要作用。
📄 摘要（原文）
Video diffusion models are stochastic and hard to control: precise content often requires repeated sampling without guaranteed success, and long-horizon scenes drift in appearance, interactions, and temporal coherence. Agentic visual creation provides explicit references, editable 3D scenes, or executable game states for stable control, but does not by itself guarantee high object or character fidelity. Combining the two can enable stable, high-quality generation. To realize this combination, we present LynnReal-Omni, a native multimodal video generation framework built on a 32B shared multimodal diffusion transformer that unifies text-to-video, image-conditioned generation, reference-guided generation, structural control, editing, degraded video restoration, and long-video generation. It accepts heterogeneous visual inputs, including appearance references, editable 3D renders, and game recordings, allowing agents to compose visual conditions within a unified model. We also train a dedicated 27B Flash shared multimodal diffusion transformer for real-time rendering. We build a systematic data pipeline for video cleaning, subject association, multimodal annotation, and aligned control construction, yielding a curated corpus of multi-shot audiovisual segments, and introduce MSAVP, a 100-prompt, 20-metric evaluation design that separates instruction following, generating plausibility, visual quality, temporal behavior, and audio coordination. LynnReal-Omni-Flash further reduces inference cost through model and decoding acceleration, including a lightweight VAE decoder; on one H100, warm generation and decoding of a 22-frame 540p video take 843 ms with LynnReal-Omni and 377 ms with Flash. These results provide a foundation for real-time streaming video generation, making LynnReal-Omni a unified, controllable, and efficient basis for agentic visual creation.