Qwen3.8-Omni: Towards Native Omni-Modal Agents
作者: Qwen Team
分类: cs.CL, cs.CV, cs.MM
发布日期: 2026-09-22
💡 一句话要点
提出Qwen3.8-Omni以解决多模态智能体的理解与推理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态智能体 长视频理解 推理能力 稀疏专家混合架构 共同训练策略 生产力应用 音频视频支持
📋 核心要点
- 现有的多模态模型主要集中在感知和交互上，缺乏对多模态理解和推理的深入支持。
- Qwen3.8-Omni-Flash通过原生的多模态共同训练策略，提升了文本、音频和视频任务之间的智能能力转移。
- 实验结果表明，Qwen3.8-Omni-Flash在多模态理解、推理和长时间智能执行任务上表现优异，支持多种生产力应用。
📝 摘要（中文）
我们介绍了Qwen3.8-Omni-Flash，这是一个原生多模态智能体模型，旨在提升现实世界中的多模态生产力。与以往的多模态模型相比，Qwen3.8-Omni-Flash在多模态理解、推理以及长时间跨度的智能任务执行上有显著提升。该模型采用了原生的多模态共同训练策略，能够在文本、音频和视频任务之间有效转移智能能力。Qwen3.8-Omni-Flash继承了Qwen3.8-Next的稀疏专家混合架构，并将上下文窗口扩展至一百万个标记，支持长上下文的多模态推理和长时间规划。我们还发布了Qwen-MM-Plugins和Qwen-Live-Harness，旨在解决现有智能体框架中缺乏音频和视频支持的问题。
🔬 方法详解
问题定义：本论文旨在解决现有多模态智能体在理解和推理方面的不足，尤其是在长时间跨度任务中的表现。现有方法往往侧重于感知和交互，缺乏对多模态信息的深度理解和有效利用。
核心思路：Qwen3.8-Omni-Flash的核心思路是通过原生的多模态共同训练策略，增强模型在不同模态（文本、音频、视频）间的智能能力转移，从而提升整体的多模态理解和推理能力。
技术框架：该模型基于稀疏专家混合架构，扩展了上下文窗口至一百万个标记，支持长上下文的多模态推理。整体架构包括多模态输入处理模块、上下文管理模块和智能任务执行模块。
关键创新：最重要的技术创新在于原生多模态共同训练策略的引入，使得模型能够在不同模态间有效转移能力，显著提升了多模态理解和推理的性能。
关键设计：模型采用了稀疏混合专家架构，设置了适应不同模态的损失函数，并优化了网络结构以支持长时间跨度的任务执行。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Qwen3.8-Omni-Flash在多模态理解和推理任务上相较于基线模型有显著提升，尤其在长时间跨度的智能任务执行中，表现出色。具体性能数据表明，该模型在多项任务中均达到了领先水平，验证了其作为多模态智能体的实用性。
🎯 应用场景
Qwen3.8-Omni-Flash在视频编辑、长形式音频和视频翻译、音乐视频生成等多个领域具有广泛的应用潜力。其强大的多模态理解和推理能力使其能够作为主要智能体或专门子智能体集成到生产工作流中，提升生产效率和创造力。
📄 摘要（原文）
We introduce Qwen3.8-Omni-Flash, a natively multimodal agentic model for real-world multimodal productivity. Compared with previous omni models, which primarily emphasized perception and interaction, Qwen3.8-Omni-Flash substantially improves multimodal understanding and reasoning, as well as performance on long-horizon agentic tasks. These capabilities are supported by a native multimodal co-training strategy that preserves strong text-domain capabilities while facilitating the transfer of agentic capabilities from text to audio and video tasks. The model inherits the sparse mixture-of-experts (MoE) architecture of Qwen3.8-Next and extends the context window to one million tokens, supporting long-context multimodal reasoning and long-horizon planning. These advances enable integration into production workflows as a primary agent or a specialized sub-agent, supporting video editing, long-form audio and video translation, music-conditioned music video or movie generation, and video-based note or omni-skill creation. To address the lack of native audio and video support in existing agent harnesses, we release Qwen-MM-Plugins, a lightweight open-source plugin framework for multimodal productivity. We further frame real-time multimodal interaction as a system-level challenge requiring orchestration of context and memory management, tool use, and sub-agent delegation. Accordingly, we release Qwen-Live-Harness, an open-source framework for building responsive, real-time multimodal agents based on Qwen3.8-Omni-Flash. Extensive evaluations demonstrate that Qwen3.8-Omni-Flash achieves strong performance across multimodal understanding, reasoning, long-horizon agentic execution, and video productivity tasks. These results and the accompanying open-source tools support Qwen3.8-Omni-Flash as a practical foundation for deploying natively multimodal agents in research and production.