Can Visual Generation Expand What Unified Multimodal Models Know?
作者: Wenkai Li, Wenyi Hong, Zhuoyi Yang, Jie Tang
分类: cs.CV, cs.AI
发布日期: 2026-10-15
💡 一句话要点
提出知识转移探测以扩展统一多模态模型的知识
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 统一多模态模型 知识转移 图像生成 文本问答 多模态学习 知识访问 交错对齐
📋 核心要点
- 现有的统一多模态模型在知识获取上主要依赖文本，导致其对视觉信息的理解不足。
- 论文提出知识转移探测（KTP），通过图像生成训练引入新知识，并测试其在文本问答中的可访问性。
- 实验结果表明，视觉监督能够直接提升语言知识的获取，但效果存在不均匀性，交错对齐进一步改善了知识访问。
📝 摘要（中文）
统一多模态模型（UMMs）通过图像生成监督，接触到文本中未充分记录的视觉信息。本文提出知识转移探测（KTP），通过图像生成训练提供新知识，并通过仅文本的问答测试其可访问性。我们观察到视觉监督与语言之间存在直接但不均匀的知识转移。基于此，我们引入文本对齐和交错图像-文本对齐，分别通过共享知识和交错响应连接生成与回答。选定实体的指导可以在没有问答监督的情况下改善其他实体的知识访问，交错对齐进一步提升了效果。分析显示，图像中正确再现的知识通常通过文本更易获取，但两者之间仍存在显著差距。这些发现支持将视觉生成作为超越文本监督的知识来源，并激励对训练数据设计和模型架构的联合研究，以使这些知识更广泛可及。
🔬 方法详解
问题定义：本文旨在解决统一多模态模型在知识获取中对视觉信息的依赖不足，现有方法主要依赖文本，导致知识转移不充分。
核心思路：提出知识转移探测（KTP），通过图像生成训练引入新的视觉知识，并通过文本问答验证其可访问性，探索视觉生成对知识获取的影响。
技术框架：整体架构包括知识转移探测、文本对齐和交错图像-文本对齐三个主要模块。KTP通过图像生成训练提供新知识，文本对齐和交错对齐则通过共享知识和交错响应来提升问答性能。
关键创新：最重要的创新在于引入了知识转移探测（KTP）和交错对齐机制，使得视觉生成与文本问答之间的知识转移更加高效，突破了传统方法的局限。
关键设计：在模型设计中，选定实体的指导被用于改善其他实体的知识访问，损失函数和网络结构经过优化，以确保知识的有效转移和访问。
🖼️ 关键图片
📊 实验亮点
实验结果显示，视觉监督能够有效提升语言知识的获取，尤其在特定知识类别上表现突出。通过交错对齐，知识访问的效果进一步提升，整体性能相比基线提升显著，具体数据未提供。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、图像生成与理解的结合、以及多模态学习等。通过提升模型对视觉知识的获取能力，可以在教育、医疗、自动驾驶等多个领域实现更智能的应用，推动人机交互的进步。
📄 摘要（原文）
Unified multimodal models (UMMs) receive image-generation supervision that exposes them to visual information not fully documented in text. Can learning to generate images expand what pretrained models know? We introduce Knowledge Transfer Probing (KTP), a controlled protocol that supplies new knowledge through image-generation training and tests its accessibility through text-only question answering. Across seven knowledge categories and three UMMs, we observe direct but uneven transfer from visual supervision to language. Motivated by these observations, we successively introduce Textual Alignment and Interleaved Image--Text Alignment, which connect generation and answering through shared knowledge and interleaved responses, respectively. Guidance on selected entities can improve knowledge access on other entities without QA supervision, with additional gains from interleaved alignment. Further analysis shows that knowledge correctly reproduced in images is often more accessible through text, although substantial gaps remain between the two forms of access. These findings support visual generation as a source of knowledge beyond textual supervision, and motivate joint investigation of training data design and model architecture to make this knowledge more broadly accessible.