Diagnosing and Correcting Concept Omission in Multimodal Diffusion Transformers

📄 arXiv: 2605.14270v1 📥 PDF

作者: Kanghyun Baek, Jaihyun Lew, Chaehun Shin, Jungbeom Lee, Sungroh Yoon

分类: cs.CV

发布日期: 2026-05-14

备注: Accepted to ICML 2026

💡 一句话要点

提出OSI方法，通过增强遗漏信号显著改善多模态扩散模型中的概念遗漏问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态扩散模型 文本到图像生成 概念遗漏 遗漏信号干预 线性探测

📋 核心要点

  1. 多模态扩散模型在文本生成图像任务中表现出色，但存在概念遗漏的挑战，影响生成质量。
  2. 论文提出遗漏信号干预（OSI）方法，通过增强文本嵌入中的遗漏信号来促使模型生成缺失的概念。
  3. 实验表明，OSI能有效缓解概念遗漏问题，即使在复杂场景下也能显著提升生成图像的质量。

📝 摘要（中文）

多模态扩散Transformer（MM-DiT）在文本到图像生成方面取得了显著进展，但经常遭受概念遗漏问题，即指定的对象或属性未能出现在生成的图像中。通过对文本token执行线性探测，我们证明文本嵌入可以区分代表目标概念缺失的特征“遗漏信号”。基于这一洞察，我们提出了遗漏信号干预（OSI），它放大遗漏信号以积极催化缺失概念的生成。在FLUX.1-Dev和SD3.5-Medium上的全面实验表明，即使在极端情况下，OSI也能显著缓解概念遗漏。

🔬 方法详解

问题定义：论文旨在解决多模态扩散Transformer模型在文本到图像生成任务中常见的概念遗漏问题。现有方法难以保证所有指定的对象或属性都能准确地出现在生成的图像中，导致生成结果与文本描述不符。

核心思路：论文的核心思路是识别并增强文本嵌入中代表概念缺失的“遗漏信号”。通过线性探测发现，文本嵌入中存在可区分概念是否遗漏的信号。因此，通过放大该信号，可以引导模型更加关注并生成缺失的概念。

技术框架：该方法主要包含以下步骤：首先，利用线性探测技术识别文本嵌入中的遗漏信号。然后，设计遗漏信号干预（OSI）模块，该模块能够放大检测到的遗漏信号。最后，将增强后的文本嵌入输入到多模态扩散Transformer模型中，生成包含所有指定概念的图像。

关键创新：该论文的关键创新在于发现了文本嵌入中存在的“遗漏信号”，并提出了相应的干预方法。与现有方法不同，OSI不是直接修改生成过程，而是从文本嵌入层面入手，通过增强遗漏信号来引导模型生成缺失的概念，从而更有效地解决概念遗漏问题。

关键设计：OSI模块的具体实现方式未知，论文中可能涉及对文本嵌入进行线性变换或添加特定噪声等操作来放大遗漏信号。具体的参数设置和损失函数设计也未知，需要参考论文原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OSI方法在FLUX.1-Dev和SD3.5-Medium数据集上显著缓解了概念遗漏问题，即使在极端情况下也能有效提升生成图像的质量。具体的性能数据和提升幅度未知，需要参考论文原文。

🎯 应用场景

该研究成果可广泛应用于各种文本到图像生成任务中，例如艺术创作、产品设计、虚拟现实等领域。通过解决概念遗漏问题，可以提高生成图像的质量和准确性，从而更好地满足用户的需求。此外，该方法还可以应用于其他多模态生成任务，例如文本到视频生成等。

📄 摘要（原文）

Multimodal Diffusion Transformers (MM-DiTs) have achieved remarkable progress in text-to-image generation, yet they frequently suffer from concept omission, where specified objects or attributes fail to emerge in the generated image. By performing linear probing on text tokens, we demonstrate that text embeddings can distinguish a characteristic `omission signal' representing the absence of target concepts. Leveraging this insight, we propose Omission Signal Intervention (OSI), which amplifies the omission signal to actively catalyze the generation of missing concepts. Comprehensive experiments on FLUX.1-Dev and SD3.5-Medium demonstrate that OSI significantly alleviates concept omission even in extreme scenarios.