PixelDiT2: Representation-Grounded Pixel Diffusion Transformers

📄 arXiv: 2609.24919v1 📥 PDF

作者: Yongsheng Yu, Wei Xiong, Yichen Sheng, Shiqiu Liu, Jiebo Luo

分类: cs.CV

发布日期: 2026-09-21

💡 一句话要点

提出PixelDiT2以解决像素空间扩散模型收敛慢的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 像素扩散模型 表示学习 图像生成 计算机视觉 深度学习

📋 核心要点

  1. 现有的像素空间扩散模型在图像质量和收敛速度上仍落后于潜在空间扩散模型，主要是缺乏明确的表示先验。
  2. 论文提出PixelDiT2，通过解耦表示学习与像素生成，利用冻结的预训练视觉模型提供表示指导，提升去噪效果。
  3. 实验结果显示，PixelDiT2在ImageNet数据集上取得了显著的FID值，表明其在图像生成质量上的提升。

📝 摘要（中文）

近年来，像素空间扩散模型在图像质量上已接近潜在空间扩散模型，但收敛速度较慢且最终图像质量仍有差距。我们认为，缺乏明确的表示先验是关键原因。与潜在扩散模型不同，像素扩散模型需要同时从原始RGB空间学习去噪友好的表示和像素生成。为了解决这一问题，我们提出了PixelDiT2，这是一种端到端的像素空间扩散模型，旨在将表示学习与像素生成解耦，而不引入自编码器或潜在重建瓶颈。我们提出的表示引导方法利用冻结的预训练视觉基础模型，在去噪过程中提供明确的每个补丁的表示指导，使像素扩散变换器更专注于像素生成。在ImageNet-256x256上，PixelDiT2在600个epoch后达到了1.46的FID；在512x512分辨率下，PixelDiT2在680个epoch后达到了1.48的FID。

🔬 方法详解

问题定义：本论文旨在解决现有像素空间扩散模型在图像生成质量和收敛速度上的不足，特别是缺乏有效的表示先验导致的性能瓶颈。

核心思路：论文提出的PixelDiT2模型通过将表示学习与像素生成解耦，利用预训练的视觉模型提供明确的表示指导，从而使得模型在去噪过程中能够更专注于生成高质量的像素。

技术框架：PixelDiT2的整体架构包括输入图像的处理、表示引导模块和像素生成模块。首先，输入图像经过预训练的视觉模型提取特征，然后在去噪过程中结合这些特征进行像素生成。

关键创新：最重要的创新在于引入了表示引导机制，利用冻结的预训练视觉模型为每个图像补丁提供指导，这一设计使得PixelDiT2能够在不依赖自编码器的情况下提升去噪效果。

关键设计：在模型设计中，采用了特定的损失函数以平衡表示学习与生成任务，同时在网络结构上优化了Transformer模块，以提高模型的收敛速度和生成质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PixelDiT2在ImageNet-256x256上达到了1.46的FID，在512x512分辨率下达到了1.48的FID，显示出相较于现有方法的显著提升，尤其在图像质量和收敛速度方面。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像生成、图像修复和风格迁移等任务。PixelDiT2的创新方法能够为图像生成提供更高质量的结果，具有广泛的实际价值，未来可能推动更多基于像素的生成模型的发展。

📄 摘要（原文）

Recent advances in pixel-space diffusion models have narrowed the image quality gap with latent-space diffusion, but still converge more slowly and lag behind in final image quality. We argue that a key reason is the lack of an explicit representation prior: unlike latent diffusion, which usually denoises in a compact and structured latent space, pixel diffusion needs to learn denoising-friendly representations and pixel generation simultaneously from raw RGB space. To address this problem, we propose PixelDiT2, an end-to-end pixel-space diffusion model designed to decouple representation learning from pixel generation without introducing an autoencoder or latent reconstruction bottleneck. We propose representation grounding that uses a frozen pretrained vision foundation model to provide explicit per-patch representation guidance throughout denoising, allowing the pixel diffusion transformer to focus more on pixel generation. On ImageNet-256x256, PixelDiT2 achieves an FID of 1.46 after 600 epochs; at 512x512 resolution, PixelDiT2 achieves an FID of 1.48 after 680 epochs.