Can Unified Generation and Understanding Models Maintain Semantic Equivalence Across Different Output Modalities?

📄 arXiv: 2602.23711v1 📥 PDF

作者: Hongbo Jiang, Jie Li, Yunhang Shen, Pingyang Dai, Xing Sun, Haoyu Cao, Liujuan Cao

分类: cs.CV

发布日期: 2026-02-27

备注: Equal contribution by Jie Li

💡 一句话要点

VGUBench揭示了统一多模态大模型在跨模态语义对齐上的不足

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大模型 语义等价性 跨模态对齐 视觉生成理解 诊断框架

📋 核心要点

  1. 现有统一多模态大模型在跨模态语义对齐方面存在不足，无法保证不同模态输出结果的语义一致性。
  2. 提出VGUBench框架，通过解耦推理逻辑和生成保真度，诊断模型在视觉生成理解方面的性能瓶颈。
  3. 实验表明，模型在文本理解和视觉渲染方面表现良好，但在生成视觉答案时性能显著下降，揭示了跨模态语义对齐问题。

📝 摘要（中文）

统一多模态大语言模型(U-MLLMs)集成了理解和生成能力。然而，现有评估通常独立评估这些能力，忽略了语义等价性，即无论输出模态如何，都能保持一致的推理结果。本文研究了当前的U-MLLMs是否满足这一前提。观察发现，模型在文本推理方面表现出色，但在以图像模态呈现相同结果时，无法保持语义等价性。为了严格诊断这种差异，我们引入了VGUBench框架，将推理逻辑与生成保真度解耦。VGUBench包含三个诊断任务：文本生成理解、视觉生成理解和视觉渲染控制。评估结果表明，尽管U-MLLMs在文本理解和视觉渲染方面表现出色，但在生成视觉答案时性能显著下降。此外，视觉回答性能与基本渲染质量之间的相关性可以忽略不计。这些结果表明，失败并非源于生成保真度不足，而是源于跨模态语义对齐的崩溃。我们提供了诊断见解，以解决未来统一生成和理解模型中的这一挑战。

🔬 方法详解

问题定义：现有统一多模态大语言模型(U-MLLMs)在理解和生成能力上取得了显著进展，但缺乏对跨模态语义等价性的系统评估。具体来说，即使模型在文本模态下能够正确推理，当要求以图像模态输出相同推理结果时，其性能会显著下降。现有评估方法通常独立评估不同模态的性能，忽略了模型在不同模态之间保持语义一致性的能力。

核心思路：本文的核心思路是将推理逻辑与生成保真度解耦，从而更精确地诊断U-MLLMs在视觉生成理解方面的不足。通过设计专门的诊断任务，分别评估模型的文本理解能力、视觉生成能力和视觉渲染能力，从而确定性能瓶颈是源于推理错误还是生成缺陷。

技术框架：VGUBench框架包含三个主要任务：(1)文本生成理解(Textual Generative Understanding)：评估模型在文本模态下的推理能力，作为基线。(2)视觉生成理解(Visual Generative Understanding)：评估模型生成视觉答案的能力，即根据问题生成相应的图像。(3)视觉渲染控制(Visual Rendering Control)：评估模型直接将文本描述渲染成图像的能力，不涉及复杂的推理过程。通过对比这三个任务的性能，可以分析模型在跨模态语义对齐方面的不足。

关键创新：VGUBench的关键创新在于其诊断性设计，能够将推理逻辑与生成保真度解耦。通过对比文本生成、视觉生成和视觉渲染任务的性能，可以更准确地定位模型在跨模态语义对齐方面的瓶颈。此外，该框架提供了一种系统化的方法来评估和改进U-MLLMs的跨模态推理能力。

关键设计：VGUBench的三个任务分别针对不同的能力进行评估。文本生成理解任务使用标准的文本问答数据集。视觉生成理解任务需要模型根据问题生成图像，评估指标包括图像质量和语义相关性。视觉渲染控制任务使用文本描述作为输入，要求模型生成相应的图像，评估指标主要关注图像的保真度。具体的数据集选择和评估指标根据任务的特点进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，U-MLLMs在文本理解和视觉渲染方面表现出色，但在生成视觉答案时性能显著下降。视觉回答性能与基本渲染质量之间的相关性可以忽略不计，表明性能瓶颈并非源于生成保真度不足，而是源于跨模态语义对齐的崩溃。VGUBench的诊断结果为改进U-MLLMs的跨模态推理能力提供了重要依据。

🎯 应用场景

该研究成果可应用于提升多模态大模型在机器人、自动驾驶、智能助手等领域的性能。通过提高模型在不同模态之间保持语义一致性的能力，可以使模型更好地理解和响应用户的指令，从而实现更智能、更可靠的人机交互。未来，该研究有助于开发更强大的多模态人工智能系统。

📄 摘要（原文）

Unified Multimodal Large Language Models (U-MLLMs) integrate understanding and generation within a single architecture. However, existing evaluations typically assess these capabilities separately, overlooking semantic equivalence, i.e., the ability to manifest consistent reasoning results regardless of the output modality. In this work, we investigate whether current U-MLLMs satisfy this premise. We observe that while models demonstrate robust textual reasoning, they fail to maintain semantic equivalence when required to render the same results in the image modality. To rigorously diagnose this discrepancy, we introduce VGUBench, a framework to decouple reasoning logic from generation fidelity. VGUBench comprises three diagnostic tasks: (1)Textual Generative Understanding, establishing a baseline for reasoning accuracy in textual response; (2)Visual Generative Understanding, evaluating the ability to generate visual responses that represent the correct answer; and (3)a Visual Rendering control task, which assesses the ability to directly render explicit visual descriptions into images without complex reasoning. Our evaluation reveals a significant disparity: despite strong performance in textual understanding and visual rendering, U-MLLMs exhibit a marked performance collapse when required to generate visual answers to questions. Furthermore, we find a negligible correlation between visual answering performance and basic rendering quality. These results suggest that the failure stems not from insufficient generation fidelity, but from a breakdown in cross-modal semantic alignment. We provide diagnostic insights to address this challenge in future Unified Generation and Understanding Models.