Probing Diffusion Denoising Dynamics for Contrastive Representation Learning
作者: Yasong Dai, Zeeshan Hayder, David Ahmedt-Aristizabal, Hongdong Li
分类: cs.CV
发布日期: 2026-07-10
💡 一句话要点
提出D$^3$CL以支持对比表示学习的去噪动态适应
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 扩散模型 对比学习 去噪动态 表示学习 计算机视觉 迁移学习
📋 核心要点
- 现有的扩散模型在生成能力上表现出色，但在区分性表示学习方面的应用尚未得到充分探索。
- D$^3$CL通过将去噪动态与对比学习结合，提出了一种轻量级的适应方法，能够在不重新训练的情况下提升模型性能。
- 在ImageNet-1K数据集上，D$^3$CL实现了80.1%的线性探测准确率和5.56的FID，证明了其有效性。
📝 摘要（中文）
文本到图像的扩散模型展现了前所未有的生成能力，并包含丰富的中间表示，这些表示对区分性视觉任务非常有用。基于这一观察，本文研究了一个聚焦问题：如何在保持生成行为的同时，通过参数高效的更新，适应预训练扩散模型的去噪动态以支持区分性表示学习。我们提出D$^3$CL作为对此问题的探讨。关键观察是，不同扩散时间步的噪声潜变量可以被解释为同一底层图像的随机视图，从而使对比目标与标准去噪重建损失相结合。该框架提供了一种简单的方法来探测生成去噪与区分性表示学习之间的相互作用，而无需从头开始训练。通过对预训练的Stable Diffusion骨干网络应用LoRA更新，同时冻结原始模型参数，D$^3$CL提供了强有力的实证证据，表明重建和噪声级对比目标是互补的。
🔬 方法详解
问题定义：本文旨在解决如何将预训练扩散模型的去噪动态适应于区分性表示学习的问题。现有方法在这一领域的应用效果有限，尤其是在保持生成性能的同时进行有效的参数更新。
核心思路：论文提出D$^3$CL，通过将不同扩散时间步的噪声潜变量视为同一图像的随机视图，结合对比学习目标与去噪重建损失，探索生成与区分性学习之间的相互作用。
技术框架：D$^3$CL的整体架构包括预训练的Stable Diffusion模型，采用LoRA更新策略以保持模型参数的原始状态，同时引入去噪和对比损失的结合。
关键创新：D$^3$CL的主要创新在于提出了一种新的对比学习框架，能够在不重新训练模型的情况下有效利用扩散模型的去噪特征，显著提升区分性任务的性能。
关键设计：在设计中，采用LoRA进行参数高效的更新，损失函数结合了去噪重建损失与噪声级对比损失，确保了模型在生成与区分性任务中的平衡。具体的超参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
D$^3$CL在ImageNet-1K数据集上取得了80.1%的线性探测准确率和5.56的FID，显示出其在生成和区分性任务中的优越性能。与基线相比，D$^3$CL显著提升了模型的适应能力，验证了去噪与对比学习的互补性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉中的图像分类、目标检测等任务，尤其是在需要高效利用预训练模型的场景。D$^3$CL的框架为未来的模型适应和迁移学习提供了新的思路，可能会推动更多基于扩散模型的应用发展。
📄 摘要（原文）
Text-to-image diffusion models exhibit unprecedented generative capability and contain rich intermediate representations that can be useful for discriminative vision tasks. Motivated by this observation, we study a focused question: how can the denoising dynamics of a pretrained diffusion model be adapted to support discriminative representation learning while preserving its generative behavior under parameter-efficient updates? We present D$^3$CL as an investigation of this question. Our key observation is that noisy latents at different diffusion timesteps can be interpreted as stochastic views of the same underlying image, enabling a contrastive objective to be coupled with the standard denoising reconstruction loss. This formulation provides a simple way to probe the interaction between generative denoising and discriminative representation learning without training from scratch. To keep the adaptation lightweight, we apply LoRA updates to a pretrained Stable Diffusion backbone while freezing the original model parameters. D$^3$CL provides strong empirical evidence that reconstruction and noise-level contrastive objectives can be complementary: on ImageNet-1K, it obtains 80.1% linear-probing accuracy and an FID of 5.56 for $256 \times 256$ unconditional generation. Additional ablations on the design space suggest that the usefulness of diffusion features depends on where and how denoising states are sampled. These results establish D$^3$CL as a parameter-efficient adaptation framework for pretrained diffusion models, showing that noise-level contrastive learning can structure denoising representations for discriminative tasks while maintaining generative performance.