Vision as Unified Multimodal Generation
作者: Xiaoyang Han, Jianhua Li, Kewang Deng, Zukai Chen, Xuanke Shi, Sihan Wang, Boxuan Li, Linyan Wang, Siyi Xie, Xin You, Jinsheng Quan, Zhongang Cai, Haiwen Diao, Ziwei Liu, Lei Yang, Dahua Lin, Quan Wang
分类: cs.CV
发布日期: 2026-07-07
备注: 48 pages,22 figures
💡 一句话要点
提出统一多模态生成方法以解决计算机视觉任务整合问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态生成 计算机视觉 自然语言处理 视觉任务整合 深度学习
📋 核心要点
- 现有计算机视觉方法通常依赖于特定任务架构，缺乏统一性和灵活性，难以高效整合多种视觉任务。
- 论文提出SenseNova-Vision模型，通过统一多模态生成框架，利用自然语言和视觉提示来处理多种视觉任务，避免了任务特定的架构设计。
- 实验结果显示，SenseNova-Vision在检测、OCR、关键点估计等任务上表现出色，能够与专用系统相媲美，展示了其广泛的适用性和高效性。
📝 摘要（中文）
本文将计算机视觉视为统一的多模态生成任务，提出SenseNova-Vision模型，该模型无需特定任务架构，通过自然语言指令和可选视觉提示来指定任务和解码方式，生成文本、图像或混合输出。为支持大规模训练，研究团队构建了SenseNova-Vision语料库，将多样的计算机视觉注释转化为指令-响应示例。实验表明，该模型在多个视觉任务上表现优异，能够与领先的任务专用系统相媲美，展示了统一多模态生成在集成计算机视觉能力方面的潜力。
🔬 方法详解
问题定义：本文旨在解决现有计算机视觉方法在任务整合和架构灵活性方面的不足，现有方法往往需要针对特定任务设计架构，导致资源浪费和效率低下。
核心思路：论文提出的SenseNova-Vision模型通过统一的多模态生成框架，利用自然语言指令和视觉提示来指定任务和解码方式，从而实现多种视觉任务的处理，避免了特定任务架构的限制。
技术框架：SenseNova-Vision模型基于一个预训练的统一多模态模型，主要通过SenseNova-Vision语料库进行训练，结合辅助的多模态数据作为能力保留的混合，整体流程包括任务指定、响应生成和输出处理等模块。
关键创新：该研究的主要创新在于将多种视觉任务统一到一个生成框架中，模型无需特定的预测头或架构修改，显著提高了模型的通用性和适应性。
关键设计：在模型设计中，采用了自然语言指令作为输入，结合视觉提示来增强任务的指定能力，损失函数和网络结构经过精心设计，以确保模型在多种任务上的高效学习和表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SenseNova-Vision模型在多个视觉任务上表现优异，能够与领先的任务专用系统相媲美，尤其在结构化视觉理解、密集几何预测和分割任务上，展示了显著的性能提升，具体数据未提供。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、智能监控、医疗影像分析等，能够为这些领域提供高效的视觉理解和处理能力。未来，该模型有望推动计算机视觉技术的广泛应用，提升多模态交互系统的智能水平。
📄 摘要（原文）
We formulate computer vision as unified multimodal generation, where heterogeneous visual tasks are expressed in the native text and image generation spaces of a unified multimodal model, without task-specific architectures. Under this formulation, SenseNova-Vision uses natural-language instructions and optional visual prompts to specify tasks, target regions or views, and decoding conventions, and generates responses as text for symbolic outputs, images for dense spatial predictions, or mixed text-and-image outputs for compositional tasks. To support large-scale training, we convert diverse computer vision annotations into instruction-response examples compatible with these generation spaces, resulting in the SenseNova-Vision Corpus, a computer-vision instruction-response corpus spanning text, image, and mixed targets. Starting from an off-the-shelf pretrained unified multimodal model, SenseNova-Vision is trained primarily on this corpus, with auxiliary multimodal data used as a capability-preserving mixture, and requires no task-specific prediction heads or architectural modifications. The resulting model covers a broad range of vision tasks, including detection, OCR, keypoint estimation, segmentation, depth estimation, surface normal prediction, point maps, and camera pose estimation, while supporting language-defined variants that combine category, color, region, and other visual cues. Experiments show that a single unified model can match leading task-specialized systems across structured visual understanding, dense geometric prediction, segmentation, and multi-view visual geometry. These results suggest unified multimodal generation as a scalable route for integrating computer vision capabilities into general-purpose foundation models. The model and corpus are publicly available.