OmniTaskonomy: When Does Visual Generation Improve Visual Understanding?

📄 arXiv: 2609.38079v1 📥 PDF

作者: Jiaxin Ge, Yiming Qin, Ji Xie, Haozhe Jiang, Xiaochuang Han, Junyi Zhang, Andrew Dai, Yinfei Yang, Jitendra Malik, Ranjay Krishna, Sewon Min, Haiwen Feng, Le Xue, Baifeng Shi, Trevor Darrell, XuDong Wang

分类: cs.CV

发布日期: 2026-09-29

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出OmniTaskonomy以揭示视觉生成对理解的影响

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 视觉生成 视觉理解 多模态学习 任务分类 转移学习 梯度对齐 深度学习

📋 核心要点

  1. 现有方法在视觉生成与理解之间的关系尚不明确，缺乏系统性的研究来揭示其相互促进的机制。
  2. 论文提出OmniTaskonomy，通过构建统一的任务分类法，系统研究视觉生成如何影响视觉理解能力。
  3. 实验结果表明，I2I训练在适当条件下显著提升I2T性能，且不同生成任务对理解能力的影响存在选择性和任务依赖性。

📝 摘要（中文）

本研究探讨了视觉生成如何促进视觉理解，尤其是在图像到图像生成（I2I）与图像到文本理解（I2T）任务之间的关系。通过构建统一的OmniTaskonomy分类法，涵盖19个I2I生成任务和25个I2T理解能力，研究发现I2I训练在适当条件下能显著提升I2T性能，且随着训练数据量的增加，提升效果更为明显。此外，研究揭示了不同生成任务对理解能力的选择性影响，提供了有效的训练策略和任务选择的指导。

🔬 方法详解

问题定义：本研究旨在解决视觉生成对视觉理解的影响尚不明确的问题，现有方法未能系统探讨两者之间的相互关系。

核心思路：通过引入OmniTaskonomy这一统一分类法，研究不同的视觉生成任务如何影响视觉理解能力，探索生成与理解之间的转移效应。

技术框架：研究首先构建了19个I2I生成任务和25个I2T理解能力的分类法，随后通过实验分析生成任务与理解能力之间的转移关系，最后探讨了梯度对齐与转移增益之间的关联。

关键创新：OmniTaskonomy的提出是本研究的核心创新，它系统性地揭示了不同生成任务对理解能力的选择性影响，提供了新的视角来理解视觉生成与理解之间的关系。

关键设计：研究中采用了梯度对齐分析方法，发现生成任务与理解任务之间的强对齐与更大的下游转移增益相关，强调了任务选择和训练策略的重要性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在适当的训练条件下，I2I生成任务能够显著提升I2T理解性能，且随着I2I训练数据量的增加，性能提升幅度更大。研究还揭示了不同生成任务对理解能力的选择性影响，提供了具体的转移映射。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自动驾驶、机器人感知等。通过优化视觉生成与理解的训练策略，可以提升模型在复杂场景下的表现，推动智能系统在实际应用中的发展与落地。

📄 摘要（原文）

Training a model to generate visual content can encourage it to learn rich perceptual capabilities related to geometry, spatial relationships, and objectness; yet, its benefits for visual understanding remain unclear. We ask: when and how does visual generation supervision improve visual understanding? We study controlled pairs of image-to-image (I2I) generation and image-to-text (I2T) understanding tasks that express the same underlying problem in different output modalities. We find that under the correct recipe, I2I training improves downstream I2T performance, with larger gains as the amount of I2I training data increases. We next ask which generation tasks benefit which understanding capabilities. To study transfer beyond paired tasks, we introduce OmniTaskonomy, a unified taxonomy spanning 19 I2I generation tasks and 25 I2T understanding capabilities. The resulting transfer map reveals selective, task-dependent benefits. Some follow intuitive correspondences, e.g., depth prediction improving metric 3D reasoning, object pointing improving counting, and jigsaw reconstruction improving 2D ordering. Interestingly, we also uncover surprising connections: 2.5D segmentation improving category recognition and Z-depth prediction improving localization. To probe these patterns, we analyze gradient alignment between generation and understanding tasks and find that stronger alignment is associated with larger downstream transfer gains. Together, our results highlight visual generation as a rich source of supervision for visual understanding and provide a roadmap for unlocking its benefits through the right training curriculum and task selection. Project page: https://omni-taskonomy.github.io/.