ReVision: Reprogramming Image Generators for Dense Visual Perception
作者: Yitong Yang, Yinglin Wang, Xuexin Liu, Wei Chen, Zhaoyang Xu, Jiaxin Lin, Rui Chen, Shuting He, Kai Wang
分类: cs.CV
发布日期: 2026-10-16
💡 一句话要点
提出ReVision以解决多任务视觉感知中的交叉干扰问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多任务学习 视觉感知 图像生成 深度学习 自然语言处理
📋 核心要点
- 现有方法在多个感知任务的联合训练中存在交叉干扰，导致性能不稳定。
- ReVision通过冻结的多模态理解模型和图像生成器，采用指令条件的参数生成框架，解决了任务间的干扰问题。
- 在多个密集预测基准上，ReVision展现出与最先进方法相当的性能，并支持通过自然语言进行灵活任务定义。
📝 摘要（中文）
近期的图像生成器展现出丰富的视觉先验，能够支持密集视觉感知。然而，现有方法通常将多个感知任务编码为共享参数，这使得联合训练对异构数据的混合和加权敏感，并容易导致跨任务干扰。为了解决这一问题，本文提出了ReVision，一个基于冻结的多模态理解模型和冻结的图像生成器的指令条件参数生成框架。给定图像和自由形式的指令，理解模型将其共同编码为多模态图像-指令表示，训练的参数生成器将其映射为生成器的瞬态低秩更新。每个图像-指令对诱导出一组独特的瞬态预测参数，实现实例特定的适应，同时保持预训练骨干网络不变。ReVision不需要特定任务的头、显式任务标识符或存储适配器。共享的RGB输出接口统一了分割、深度估计和表面法线预测。在多种密集预测基准上，ReVision在性能上与最先进的方法具有竞争力，同时通过自然语言指令支持灵活的任务规范。
🔬 方法详解
问题定义：本文旨在解决现有多任务视觉感知方法中，由于共享参数导致的交叉干扰问题。现有方法在处理异构数据时，容易受到数据混合和加权的影响，导致性能下降。
核心思路：ReVision的核心思路是通过冻结的多模态理解模型和图像生成器，利用指令条件生成瞬态参数，从而实现实例特定的适应，而不改变预训练的骨干网络。
技术框架：ReVision的整体架构包括一个冻结的多模态理解模型和一个冻结的图像生成器。输入的图像和指令被共同编码为多模态表示，随后通过可训练的参数生成器生成瞬态低秩更新，最终用于生成器的输出。
关键创新：ReVision的主要创新在于其无需特定任务的头部、显式任务标识符或存储适配器，且通过共享的RGB输出接口实现了多任务的统一处理。这与传统方法的单一参数化设计形成了鲜明对比。
关键设计：在设计上，ReVision采用了瞬态低秩更新的方式来生成任务特定的参数，确保了不同任务间的参数组织结构具有任务和输入依赖性，从而有效减少了任务间的干扰。
🖼️ 关键图片
📊 实验亮点
在多个密集预测基准测试中，ReVision的性能与最先进的方法相当，且通过自然语言指令支持灵活的任务定义，展现出显著的实验优势。具体而言，ReVision在分割、深度估计和表面法线预测等任务中均取得了优异的结果，验证了其有效性。
🎯 应用场景
ReVision的研究成果在自动驾驶、机器人视觉、医疗影像分析等领域具有广泛的应用潜力。通过灵活的任务定义和高效的多任务处理能力，ReVision能够提升这些领域中视觉感知系统的性能和适应性，推动智能系统的进一步发展。
📄 摘要（原文）
Recent image generators exhibit rich visual priors that can support dense visual perception. However, existing approaches typically encode multiple perception tasks into a shared parameterization, making joint training sensitive to the mixture and weighting of heterogeneous data and prone to cross-task interference. To address this issue, we introduce ReVision, an instruction-conditioned parameter generation framework built on a frozen multimodal understanding model and a frozen image generator. Given an image and a free-form instruction, the understanding model jointly encodes them into a multimodal image--instruction representation, which a trainable parameter generator maps to transient low-rank updates for the generator. Each image--instruction pair induces a distinct set of transient prediction parameters, enabling instance-specific adaptation while both pretrained backbones remain unchanged. ReVision requires no task-specific heads, explicit task identifiers, or stored adapters. A shared RGB output interface unifies segmentation, depth estimation, and surface-normal prediction. Across diverse dense prediction benchmarks, ReVision achieves competitive performance with state-of-the-art methods while supporting flexible task specification through natural-language instructions. Our analysis further reveals substantial gradient disagreement across tasks, highlighting the conflict introduced when heterogeneous objectives share a single parameterization. Meanwhile, the generated updates exhibit structured task- and input-dependent organization in weight space, further validating instance-level parameter generation for multi-task perception.